洪泰精选 | 如何避免成为信息时代的囚徒?——浅析大数据发展趋势( 四 )
3、对海量实时数据的即时决策需求
传统的数据库业务在技术选型时 , 往往是根据具体场景进行选择 。 当应用面对高并发需求的客户并要做出快速响应时 , 通常选择面向Transaction的数据库;当应用需要多维度对数据进行分析 , 一般选用Analysis数据库 。
而眼前我们随着数据运营对业务发展的驱动更加精细 , 需要对海量的实时数据进行分析 。 Transaction和Analysis虽然在业务上强关联 , 但是技术上在数据模型、存储模式和响应效率都存在区别 , 很容易造成资源的重复存储 。 Gartner曾提出一个新的混合事务/分析处理(HTAP)架构 , 实现对单一数据源上的同时处理 , 然而改方案并没有从根本上改变数据存储的模式 , 只是在不同的功能侧重之间进行trade-off,所以只能最大程度缩短时延迟 , 并不能实现在一个系统里避免数据转存的同时处理交易和分析 。
4、从“云改造”到“云原生”
随着各大云厂商开始构建自己的云上数据产品 , 满足差异化的用户需求 , 大规模可扩展的数据库服务也纷纷开始上云 , 来为PB 级(1PB=1024TB)的数据集提供分布式数据库服务 , 比如 Google Big Query、AWS Redshift、阿里云的PolarDB、腾讯云的Sparkling 等等 。 因此
大数据的基础设施早已开始向云上进行迁移
。
在早期上云的过程中 , 大数据产品只是简单的云化改造 , 受制于硬件维护和网络 , 用户不能专注于数据层和业务逻辑 。 而“云原生“是只整个构建和运行应用程序的方法从设计之初即考虑到云的环境 , 原生为云而设计 , 在云上以最佳姿势运行 , 充分利用和发挥云平台的弹性+分布式优势 。
5、与更多先进技术多方位深度整合
当下 , 随着大家对于数字经济的数据的更多了解 , 作为万物互联的基础设施 , 大数据与其他先进的下一代信息技术实现多方位的深度整合 , 也是目前大数据领域最受关键的趋势之一 。
通过更加智能的算法来分析和管理数据 , 释放更高利用率的数据价值 , 也促成了大数据平台和机器学习平台的深度整合
。
经过治理后的大数据 , 更是与人工智能体现出一种更深的相辅相成的关系 , 因为数据治理的输出相当于人工智能的输入 。 一方面人工智能提供了高质量的合规数据 , 另一方面 , AI本身也能使得数据治理的过程变得更加智能 。
趋势三:
数据安全合规化
整个大数据行业发展过程中 , 一直有个如影随形的问题 , 就是数据的安全与合规问题 。 2019 年9 月 , 多家征信企业分别被警方带走调查 , 市场猜测可能与爬虫业务有关 。 大数据安全合规使用以及信息安全保护的问题甚嚣尘上 , 成为关注的热点 。
- 狭义的数据安全
主要是指传统的信息安全 , 即以数据作为内涵 , 信息系统作为载体 , 通过安全技术尽可能的保障数据的私密、完整和可用性 。
广义的信息安全
, 会覆盖整个数据的生命周期 , 数据采集阶段对敏感数据的鉴别发现;分类分级标签、质量监控;存储加密、灾备;数据处理中的脱敏、安全多方计算、联邦学习;数据删除后的安全副本销毁 , 以及穿插在整个过程中的用户权限管理、传输校验与加密、监控审计等等 。
在2019年6月发布的我国《数据安全管理办法(征求意见稿)》中 , 明确要求了对于个人信息的提供和保存要经过匿名化处理 。
推荐阅读
- 「推荐」疫情是如何暴发的?美英法抱团甩锅中国,背后用意须警惕
- 合租如何避免感染风险?点外卖及外出购物是否安全?李兰娟这么说……
- 『如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果』如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果
- ##新闻观察:如何看一季度经济数据?
- 慢性乙肝、宫颈癌如何预防? 专家解疫情期间疫苗接种困惑
- 经济:如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果
- 新闻观察:如何看一季度经济数据?
- 新闻观察:如何看一季度经济数据?
- 武汉消费券即将发放,老人不会操作怎么办?如何防止黄牛倒卖?
- 一博@前有肖战王一博后有尹正黄晓明 尹正如何嘱咐黄晓明别瞎说八道