江苏龙网

  1. 主页 > 生活百科 > >

详解阿里云数据中台( 三 )

数据中台


企业数据智能需要解决企业数据智能所面临的诸多问题，企业数据智能需要解决数据的快速计算和结果产出；需要对企业数据资产有整体规划和掌控；需要有一个好的方法论处理业务逻辑繁杂的统计；需要有一个好的构建和管理平台面向业务使用方和开发使用方...这些都是数据湖所不能解决的问题 。

详解阿里云数据中台

文章插图
数据中台是由阿里巴巴在2015年在内部技术演进和组织优化中提出中台战略中提到的，数据湖本身的缺陷正是数据中台强项，二者可以起到方案补充的作用，在现有技术框架中数据中台可以基于Hadoop数据湖平台作为数据存储和计算载体，实现数据的加工和处理，数据中台更多实现数据的管理，强调利用数据的能力，强调数据开发和高效的使用，数据中台的数据资产管理可以对数据湖中的数据按照数据域方式进行管理并结合业务的逻辑实现整个数据模型的加工和开发 。
数据中台与数据域相比，数据中台强调方法论，组织和工具的建设 。非常强调数据赋能业务，衍生出很多的数据业务产品 。比如在阿里面向商家的生意参谋，面向人物属性的标签服务、面向行业小二的行业洞察…这些都极大的扩展了数据价值，其次数据中台按分析的原子指标和派生指标方式做计算并存储在Maxcompute平台上，如有及时查询要求会同步分析结果数据给MPP或其他DB 。这块在数据顶层设计，全域资产、统一技术、产品业务上与Datalke及EDW是不同的 。
现有大数据平台厂商和云服务厂商推崇数据湖有其商业目的，AWS认为“云数据湖代表未来，能从数据中挖掘出更多价值” 。AWS对数据湖的理解是基于同一存储、对接各类引擎进行分析查询工作，因此推崇Amazon S3来构建数据湖；微软推崇“Azure Data lake”基于HDinsight（原先Hortonworks公司产品，现是Cloudera产品）上层使用hive，spark，U-SQL计算引擎实现计算和查询；华为推荐DAYU数据湖运营平台，强调统一管理和功能的丰富性 。这些解决方案非常强调存储服务和想配套的硬件销售 。
最后说到底都是企业提供数据计算、存储和应用的平台，最终各种平台的目的都是要更好地服务于业务 。
数据中台所面临的调战
随着数据中台理念的普及，各行各业逐步接受了这个概念，很多厂商通过招投标采购、自身投入等各种方式建设了数据中台，但在建设和具体运营中发现了很多问题，诸如数据运营是否能产生效益，对业务是否有推动价值，取数是否快速敏捷等问题…
【详解阿里云数据中台】数据中台建设是一个徐徐渐进的建设过程，数据积累和分析维度都有一个数据和知识积累，认知的过程，和业务系统的“交钥匙”工程有本质不同，营销，市场和供应链的数据是在不断变化中，营销活动，产品也在不断发展和更新中，因此，数据中台建设是一个不停迭代和发展的过程，需要持续投入是数据中台运营部门所面临的最大的挑战 。
业务数据的分析需求会有很大变化，回顾互联网或传统产业的发展历程，在2007年iphone智能手机以一个全新的形式推向市场前，传统的数据分析需求还是停留在PC或线下数据的分析，而今天，几乎所有的分析维度几乎都是来自线上终端（手机）需求或由线上数据来推动线下运营的需求 。而今天随着5G和AI技术的发展，越来越多的IOT设备产生的数据开始支撑着数据分析场景，比如商场、饭店已经开始使用摄像头等传感器来收集游客对商品或服务的喜好，这些都触动对数据中台的分析需求，这2个小小例子说明数据中台的分析需求是在不断变化中，因此数据中台建设也需要持续迭代和发展，而不是自我运行的，这需要开发人员在不断迭代中找到事物发展的规律，总结形成数据服务应用，满足普遍化的业务需求 。在GPS传感器集成到手机中前，人们无法获知运动中的人位置，通过定位传感器衍生出位置服务，比如大众点评中的餐饮家政等生活圈的服务，这些数据会催生出人新的位置标签，生活圈等指标数据，这些对业务运营有非常大的帮助，因为有了这个信息，你不会再给一个偶尔因为差旅去商家消费的顾客再发送促销信息，也不会给偶尔消费的人有促销广告，这会帮助你的营销更有针对性，更精准 。
传统企业在数仓建设都有一个分析平台，固化了很多分析指标，这些分析指标每天发生一些变化，为决策层提供了决策支撑，但指标的更替和变化确以月和年计，这导致对新业务和事物的业务反馈不够及时，因此面对这一挑战需要有一个灵活的数据中台加工机制来满足这些需求 。这首先需要有一个组织来支撑这个运营目标，使得运营和开发团队为这个目标达成这个目标，在阿里巴巴内部数据技术及产品部门就是这个组织的典型代表，通过组织机制来推动运营，满足业务部门不间断的数据需求，同时基于需求开创了一套方法论并开发了一系列的工具帮助业务部门达成这一业务目标 。这需要数据中台的开发团队开发一套方便，便捷的自助取数工具来满足业务部门的需求 。


推荐阅读


上一篇：淘宝店铺库存数量设置 淘宝卖家怎么改库存

下一篇：__FILE__ php dirname 详解