详解阿里云数据中台( 二 ) _数据中台

业务主题性：传统的数仓要求解决服务问题，比如对一个生产型企业来说公司的主题域是产品、订单、销售商、材料等，要解决应用问题可能是库存、销售、销售商等。其有业务是面向主题的。
系统集成性：在传统数据仓库中，集成是最重要的，由于计算和存储的成本原因，其数据需要从不同的数据源抽取过来并集中，其数据的冗余度需要尽可能的降低，因此数据进入数据仓库中需要进行转化、格式化、重新排列和汇总等操作，其所有数据具有单一物理特性，都是结构化方式存在。在系统架构方面，也是以集中式存储和计算方式存在，新一代的数仓采用分布式计算，但软件产品采用集中部署方式存在。
非易失性：数仓系统会记录所有记录，与业务系统相比，它不会对记录进行变化操作（update和delete），它会保留所有记录的变化，但受限于成本和计算能力考虑，数仓不会记录全量明细数据，特别是日志数据，因此大部分数仓平台的数据容量在TB级别。
时间变化性：数据仓库中每个数据单元只是在某一时间是准确的，因此数据单元的准确性与时间相关，数据仓库中的数据时间范围5-10年。
系统一体化: 传统数仓以系统整体设计为特性，软件平台围绕着数据库或计算平台以整套服务为主，结合度缜密，对外服务也较单一。

传统的数仓采用集
中式数据库作为数据和计算平台，近10年来，新兴企业采用分布式数据库和大数据技术实现OLAP类数仓建设，但其本质还是基于一个整体来考虑的。
在系统和服务上数据中台与传数仓有很多明显的区别，首先表现在服务对象方面，传统的数仓只是满足领导数据决策的需要，因此更多的体现在报表输出，使用者以小部分的业务人员和决策层为主，新需求的开发周期以月甚至到年为计。而数据中台由于起家于互联网企业，其使用对象扩大到一线服务人员和商家企业，其业务需求更繁杂，很难用一套报表系统满足需求，因此催生出一个生态的数据服务。
其次是体系架构上，数据中台是由多系统组成，除了计算平台外，其方案由多个分布式服务系统提供，满足不同业务需求和高并发和系统自动扩容需求，除了大数据存储和计算平台外，还包含数仓建设、工作台开发IDE、任务调度、数据同步服务、对外统一数据服务、资产管理系统、实时流计算平台和开发平台、oneID计算和查询模块，敏捷BI报表开发等多个组件，通过多个维度组件组成一整套方案。
再则，在服务表现形式上数据中台体现的更多样化，数据中台不仅能提供报表基础服务功能，而且为了满足各个业务部门不同需求，会提供领导决策系统、行业分析、业务洞察、业务重塑，自助查询等多个功能，满足从领导层、PD、业务人员、开发人员等各个层级的需求。

文章插图
在继承性方面，数据中台采用传统的数仓Kimball维度建模法，按照事实表，维表来构建数据中台的数据模型。
数据中台与数据湖区别
业界近3年对datalake说的比较多，是结合近10年来大数据理念兴起的，首次由Dan Woods在2011年7月福布斯上的“Big Data Requires a Big, New Architecture”中提出，它提出CIO们应该考虑数据湖(“Data lake”)这个思维方式来替代数据仓库(“data warehouse”)的思维，它的架构和理念是把原先不存储的基础数据也存储起来，汇总各个数据源的数据方便以后的数据分析和查询，因此数据湖是数据的聚集、加工为目的数据资源池，但是数据湖只是解决了聚集问题，在数据加工方面由于不可控制的需求变得异常繁重，由于数据的繁杂和混乱引入数据治理让数据的加工更是举步维艰。

文章插图
传统上数据湖中的数据会存储原始数据，量大并且非结构化和半结构化的数据较多，需要有一个低成本分布式存储和计算架构来承载这些数据，属于ODS层，缺乏数据主题和加工能力，因此近期对数据湖上的数据治理项目和应用越来越多。
数据湖汇集了原始ODS数据，解决了传统数仓基础数据缺乏的问题，作为企业数仓平台的补充，有其重要的意义，但数据湖的作用在于汇集企业的各个数据源，有一个存放和分析之地，在规划中没有一个整体的数据资产规划和管理职能，这会导致其功能薄弱性，不能承担整体的数据处理和管理之重，实际在一些大型企业，使用数据湖其数据陷阱就会马上出现，业务人员的需求需要DBA或IT人员经过繁杂的处理步骤才能实现达到业务人员的数据分析目的，其会耗费开发人员的时间耗以周计，原因之一是数据湖没有一个数据构建和管理平台去管理和计算这些数据，因此不讲治理的杂乱无章的数据看似能提升数据获取，数据分析的效率，实际上并不能承担企业智能化的使命。