「观察」云原生数仓,破茧而出( 三 )


  • “主动事件”阶段
这个阶段首次提出了主动性的概念 , 基于事件的驱动方式为主动带来的可行 。 这个阶段的难点解决动态性能问题 , 基于事件的处理对于瞬时处理能力提出了更高的要求 。 这个阶段重点解决了“我希望发生什么?” , 这里的“希望” , 正是通过事件驱动来解决 。
「观察」云原生数仓,破茧而出文章插图
我们再从“大数据”的角度去看看这个问题 。 这里所说的大数据 , 不是指一系列大数据技术 , 而是指大数据的最原始含义 , 即4V所代表的本意 。 在十几年前面对大数据这个场景 , 受限于当时的技术所限 , 不能很好地去解决这类问题 。 于是乎选择了一种新的技术路径来解决了 。 在一定时期内 , 这一方法确实解决了一定问题 , 但其不可避免也暴露出一些问题 。 例如技术复杂度高、没有统一规范标准、交互方式不够友好等 。 近些年来 , 大数据技术代表性的几个公司 , 在资本运营层面表现的很低迷 , 也一定程度上反映了大数据技术面临的问题 。 随着技术的发展演进 , 现在更趋向于用实时、标准的方式来处理 , 即所谓“Fast Data”方式 。 通过实时在线化的方式来解决上述问题 。 其更为强调对全量数据(而非增量)、实时数据(而非归档数据)、实时计算(而非离线计算)进行处理 , 同时提供按需可大规模扩展的能力 。
「观察」云原生数仓,破茧而出文章插图
在新的环境下 , 用户对数据仓库的场景也呈现出一些新的特点 。
  • 信创安可
伴随着近些年来内外部的形式变化 , 针对基础平台国产化已经被更多提及 。 一方面是为了解决信息风险 , 增强自主可控;一方面解决国外产品潜在的退出风险 。 特别在某些重点行业、关键领域 , 上述已经成为刚需 。 一方面软件本身需要自主可控 , 另一方面还需要从底层兼容适配国产硬软件平台 。
  • 技术风险
为解决所谓“黑匣子”问题 , 需要通过开源或兼容开放的形式加以解决 。 过去国外产品的封闭状态 , 会将企业绑定在自己的战车上 , 这对企业很不利 。
  • 降低成本
如何降低企业使用数据的成本 , 可从几个方面来看待 。 一是软件本身的价格问题;二是良好的生态兼容性降低开发成本;三是资源弹性、冷热分离等技术降低使用成本 。
  • 资源弹性
这点主要为了解决企业对海量规模、多模数据的支持 。
  • 平滑迁移
很多企业之前已经构建有自己的系统 , 如何帮助企业从传统架构平滑迁移到新架构 , 是对新数仓的基本要求 。 企业不可能接受通过重建来实现 。
  • 架构升级
架构升级说明 , 现在的数仓升级需求不是一个苹果换桔子的过程 , 而是希望这一过程对企业带来更多业务增值 。 随着数字化转型的深入 , 企业对数据的使用也经历了从传统数仓到数据平台 , 再到数据中台的过程 。 数仓如何适应中台的要求成为刚需 。
04 出路:云原生数仓破茧而出
「观察」云原生数仓,破茧而出文章插图
综上这些变化 , 新一代数仓解决上述痛点 , 云原生数仓应运而生 。 其通过核心优势(如上图)来帮助用户实现数仓转型 。 特别是在金融领域 , 随着国产化及降本增效趋势加剧 , 基于云原生架构的新一代数仓必将迎来更多机遇 。
「观察」云原生数仓,破茧而出文章插图
云原生数仓正是通过上述能力 , 解决自建或传统数仓系统的诸多不足 。 就如同云原生架构将重构整个IT基础设施一样 , 云原生数仓必将在数仓领域带来一场巨变 。


推荐阅读