江苏龙网

  1. 首页 > 人文 > >

嘿科技在这里|现代BI系统有哪些问题？如何解决？，从Hadoop到ClickHouse

导读：一次机缘巧合 ， 在研究BI产品技术选型的时候 ， 我接触到了ClickHouse ， 瞬间就被其惊人的性能所折服 。 这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇 。 那么ClickHouse好在哪呢？本文带你做一个初步了解 。
作者：朱凯
来源：华章科技
嘿科技在这里|现代BI系统有哪些问题？如何解决？，从Hadoop到ClickHouse
文章图片
01传统BI系统之殇
得益于IT技术的迅猛发展 ， ERP、CRM这类IT系统在电力、金融等多个行业均得以实施 。 这些系统提供了协助企业完成日常流程办公的功能 ， 其应用可以看作线下工作线上化的过程 ， 这也是IT时代的主要特征之一 ， 通常我们把这类系统称为联机事务处理（OLTP）系统 。
企业在生产经营的过程中 ， 并不是只关注诸如流程审批、数据录入和填报这类工作 。 站在监管和决策层面 ， 还需要另一种分析类视角 ， 例如分析报表、分析决策等 。 而IT系统在早期的建设过程中多呈烟囱式发展 ， 数据散落在各个独立的系统之内 ， 相互割裂、互不相通 。
为了解决数据孤岛的问题 ， 人们提出了数据仓库的概念 。 即通过引入一个专门用于分析类场景的数据库 ， 将分散的数据统一汇聚到一处 。 借助数据仓库的概念 ， 用户第一次拥有了站在企业全局鸟瞰一切数据的视角 。
随着这个概念被进一步完善 ， 一类统一面向数据仓库 ， 专注于提供数据分析、决策类功能的系统与解决方案应运而生 。 最终于20世纪90年代 ， 有人第一次提出了BI（商业智能）系统的概念 。 自此以后 ， 人们通常用BI一词指代这类分析系统 。 相对于联机事务处理系统 ， 我们把这类BI系统称为联机分析（OLAP）系统 。
传统BI系统的设计初衷虽然很好 ， 但实际的应用效果却不能完全令人满意 。 我想之所以会这样 ， 至少有这么几个原因 。
首先 ， 传统BI系统对企业的信息化水平要求较高 。 按照传统BI系统的设计思路 ， 通常只有中大型企业才有能力实施 。 因为它的定位是站在企业视角通盘分析并辅助决策的 ， 所以如果企业的信息化水平不高 ， 基础设施不完善 ， 想要实施BI系统根本无从谈起 。 这已然把许多潜在用户挡在了门外 。
其次 ， 狭小的受众制约了传统BI系统发展的生命力 。 传统BI系统的主要受众是企业中的管理层或决策层 。 这类用户虽然通常具有较高的话语权和决策权 ， 但用户基数相对较小 。 同时他们对系统的参与度和使用度不高 ， 久而久之这类所谓的BI系统就沦为了领导视察、演示的“特供系统”了 。
最后 ， 冗长的研发过程滞后了需求的响应时效 。 传统BI系统需要大量IT人员的参与 ， 用户的任何想法 ， 哪怕小到只是想把一张用饼图展示的页面换成柱状图展示 ， 可能都需要依靠IT人员来实现 。 一个分析需求从由用户大脑中产生到最终实现 ， 可能需要几周甚至几个月的时间 。 这种严重的滞后性仿佛将人类带回到了飞鸽传书的古代 。
嘿科技在这里|现代BI系统有哪些问题？如何解决？，从Hadoop到ClickHouse
文章图片
02现代BI系统的新思潮
技术普惠是科技进步与社会发展的一个显著特征 。 从FM频段到GPS定位乃至因特网都遵循着如此的发展规律 。 有时我们很难想象 ， 这些在现今社会习以为常的技术 ， 其实在几十年前还仅限于服务军队这类少数群体 。
每一次技术普惠的浪潮 ， 一方面扩展了技术的受众 ， 让更多的人享受到了技术进步带来的福利；另一方面 ， 由于更多的人接触到了新的技术 ， 反过来也提升了技术的实用性和完善程度 ， 加速了技术的成长与发展 。
如果说汽车、火车和飞机是从物理上拉近了人与人之间的距离 ， 那么随着互联网的兴起与风靡 ， 世界的距离从逻辑上再一次被拉近了 。 现今世界的社会结构与人类行为 ， 也已然被互联网深度改造 ， 我们的世界逐渐变得扁平化与碎片化 ， 节奏也越来越快 。


推荐阅读


上一篇：云李说科技|Z1带给你不一样的用机体验，全新“幻彩流星”配色来袭，iQOO

下一篇：产业气象站|5G时代下的数字支付，移动支付网成长营第二期：DCEP与物联网