洪泰精选 | 如何避免成为信息时代的囚徒?——浅析大数据发展趋势( 三 )
海量的标签库、知识图谱、图片、视频
等内容都包括在内 。
在数据资产化的的背景下 , 数据资产管理也在数据管理的基础上更进一步 ,
主要体现在视角不同以及管理功能和职能不同
。 数据管理的立足点是防范并解决数据管理漏洞所带来的损失 , 而是
数据资产管理则更强调如何利用数据资产为企业带来更多增值 。
传统数据管理的管理职能包含数据标准管理、数据质量管理、元数据管理、主数据管理、数据模型管理、数据安全管理等 , 而
数据资产管理针对不同的应用场景和大数据平台建设情况 , 增加了数据价值管理和数据共享管理等职能
。 甚至企业的组织架构和管理制度也要有所变化 , 需要更专业的管理工具 。
在行业实践中 , 数据资产管理的工具经历了三个阶段:
- 最早期:是通建立数据仓解决报表的经营分析的准确性;
- 第二阶段:是从分析延伸到生产 , 在数据库中开展数据治理 , 进行数据标准管理和数据质量管理 。 然后企业数据可以汇总到大数据平台 , 形成数据的采集、加工、计算和分析等配套工具 , 建立元数据管理、数据安全管理等机制 , 支持开发创新工具或应用;
- 目前阶段:数据资产管理已经
进入到数据资产运营阶段 , 数据也成为了企业的核心生产要素
。 像DCMM数据管理能力成熟度模型这类评估工具也开始出现 。
数据资产管理工具就成了重要且刚需的落地方式 , 但是由于这块技术上并无可参考模板 , 开发者多根据实践经验设计架构 , 而企业的实际需求各不相同 , 最后导致数据资产的管理工具虽然以各个功能模块的集成为主 , 但是形态上差异非常大 。
随着数据量的增加和数据应用场景的丰富 , 数据间的关系变得更加复杂 , 问题数据也隐藏于数据湖中难以被发觉 。
智能化的探索梳理结构化数据间、非结构化数据间的关系将节省巨大的人力 , 快速发现并处理问题数据也将极大的提升数据的可用性 。
在数据交易市场尚未成熟的情况下 , 通过扩展数据使用者的范围 , 提升数据使用者挖掘数据价值的能力 , 将最大限度地开发和释放数据价值 。 因此
未来的数据资管工具将向着智能化和灵敏化的方向发展 , 甚至可以自助服务的方式对数据价值进行更深的开发 。
趋势二:
技术发展融合化
1、算力的来源更多 , 范围更广
在移动互联网和云计算的高歌猛进中 , 应用场景细分且多样化 , 数据平台开始承载更多的计算任务 , 例如AI、物联网、视频转码等 。 同时数据的复杂度更高 , 颗粒度更细 , 并且对于并行强度、内存占用、高带宽以及高实时性的要求显著 。 因此 ,
以CPU作为基层硬件的传统技术逐渐体现出性能制约的技术瓶颈 。
2、流批处理相互融合 , 平衡发展
流处理侧重于对即时信息的批量化处理 , 计算出反映热点的实时动态变化 。 而批处理的工作环境发生在离线 , 更侧重于对历史数据的累加反馈 。 虽然lambda, 流批融合的计算方式正在成为不可阻断的趋势的方向 , 一直呈更丰富的大数据处理要求 。
在实时监控 , 风控预警等场景下 , 例如
今年爆发的大规模疫情的防控 , 流计算对于数据加工的实时性有着严苛的要求 。
推荐阅读
- 「推荐」疫情是如何暴发的?美英法抱团甩锅中国,背后用意须警惕
- 合租如何避免感染风险?点外卖及外出购物是否安全?李兰娟这么说……
- 『如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果』如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果
- ##新闻观察:如何看一季度经济数据?
- 慢性乙肝、宫颈癌如何预防? 专家解疫情期间疫苗接种困惑
- 经济:如何看待经济发展趋势?从最坏处着眼、做最充分准备、争取最好结果
- 新闻观察:如何看一季度经济数据?
- 新闻观察:如何看一季度经济数据?
- 武汉消费券即将发放,老人不会操作怎么办?如何防止黄牛倒卖?
- 一博@前有肖战王一博后有尹正黄晓明 尹正如何嘱咐黄晓明别瞎说八道