数据平台的4个阶段:从数据库到数仓再到中台,超详细的架构全解

在大数据时代 , 凡是AI类项目的落地 , 都需要具备数据、算法、场景、计算力四个基本元素 , 缺一不可 。
处理大数据已经不能仅仅依靠计算力就能够解决问题 , 计算力只是核心的基础 , 还需要结合不同的业务场景与算法相互结合 , 沉淀出一个完整的智能化平台 。
数据中台就是以云计算为数据智能提供的基础计算力为前提 , 与大数据平台提供的数据资产能力与技术能力相互结合 , 形成数据处理的能力框架赋能业务 , 为企业做到数字化、智能化运营 。
目前 , 外界与业内很多人对于数据中台的理解存在误区 , 一直只是在强调技术的作用 , 强调技术对于业务的推动作用 , 但在商业领域落地的层面上 , 更多时候技术的发展和演进都是需要跟着业务走 , 技术的发展和进步需要基于业务方的需求与数据场景应用化的探索来反向推动 。
这个也就是为什么最近知乎、脉脉都在疯传阿里在拆“大中台”?个人猜想 , 原因是没有真正理解中台的本质 , 其实阿里在最初建设数据中台的目的主要是为了提升效率和解决业务匹配度问题 , 最终达到降本增效 。
所以说“拆”是假的 , 在“拆”的同时一定在“合” , “拆”的一个方面是企业战略布局层面上的规划 , 架构升级 , 如果眼界不够高 , 格局不够大 , 看到的一定只是表面;另一方面不是由于组织架构庞大而做“拆”的动作 , 而是只有这样才能在效率和业务匹配度上 , 做到最大利益化的解耦 。
数据中台出现的意义在于降本增效 , 是用来赋能企业沉淀业务能力 , 提升业务效率 , 最终完成数字化转型 。前一篇数据中台建设的价值和意义 , 提到过企业需要根据自身的实际情况 , 打造属于自己企业独有的中台能力 。
因为 , 数据中台本身绝对是不可复制的 , 从BCG矩阵的维度结合各家市场资源、市场环境、市场地位以及业务方向来看 , 几乎所有企业的战略目标都是不一样的 。
一、数据中台演进的过程
从数据处理的维度来聊一聊数据中台经历的四个阶段:数据库阶段、数据仓库阶段、数据平台阶段、数据中台阶段 。

  1. 数据库阶段:OLTP(事务处理)是传统的关系型数据库的主要应用 , 主要是基本的、日常的事务处理 , 记录即时的增、删、改、查 。比如银行交易、电商交易等
  2. 数据仓库阶段:数据仓库系统的主要应用主要是OLAP(联机分析处理) , 支持复杂的分析操作 , 侧重决策支持 , 并且提供直观易懂的查询结果 。比如复杂的动态报表分析、用户价值分析等
  3. 数据平台阶段:其实 , 目前业界并没有对大数据平台做统一的定义 , 一般情况下 , 只要使用了Hadoop/Spark/Storm/Flink等这些分布式的实时或者离线计算框架 , 建立计算集群 , 并在上面运行各种计算任务
  4. 数据中台阶段:指具有全域级、可复用的数据资产中心与数据能力中心 , 对海量数据进行采集、计算、存储、加工 , 同时统一标准和口径 , 提供干净、透明、智慧的数据资产与高效、易用的数据能力来 , 能够对接OLTP(事务处理)和OLAP(报表分析)的需求

数据平台的4个阶段:从数据库到数仓再到中台,超详细的架构全解

文章插图
 
刚好之前本人经历过电商公司的0 - 1 - N , 就拿电商行业来举个例子 , 更好的让大家理解数据中台演进的四个阶段
1、数据库阶段
电商创业早期启动非常容易 , 门槛相对来说较低 , 试错成本较少 。三五个小伙伴组个小团队 , 做一个可以下单的前端页面 , 云上搭几台服务器再加上一个MySQL数据库 , 形成一个简单的OLTP系统 , 就可以给用户去使用 , 它的主要作用用于保证数据持久化存储和简单商品交易查询 。
现在估计很多小型电商与小程序创业者的初期都是这么干的 , 甚至找个外包团队做完就开始对于市场试错 。
原因很简单 , 从ROI来看 , 项目前期业务数据量不大 , 简单的GB级别 , 每天的订单和流量数都比较少 , 后端数据库只要做简单的单条数据的查询和展示就能够满足了需求 , 根本就没有什么高并发 , 批量处理等高深技术 , 就连做在初期做数据统计/分析用Excel就可以满足需求 。


推荐阅读