一文了解数据仓库( 五 ) _数据仓库

另外一个问题是对外应用，随着大数据平台的应用建设，每一个对外应用都采用单一的数据库加单一应用建设模式，独立考虑网络安全、数据安全、共享安全，逐渐又走向了烟囱似的开发道路。
总结：大数据平台，即为数据一站式服务，提供可视化的数据展示，提取，计算任务安排，资源管理，数据治理，安全措施，共享应用等等。
大数据平台相关图集

文章插图
平台数据流向图

文章插图
平台流程架构图
数据中台（Data Middle Platform）数据中台要解决什么？数据如何安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。
数据中台不应该被过度的承载平台的计算、存储、加工任务，而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放，知识图谱的构建。
通过一系列工具、组织、流程、规范，实现数据前台和后台的连接，突破数据局限，为企业提供更灵活、高效、低成本的数据分析挖掘服务，避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。
总结：厚平台，大中台，小前台；没有基础厚实笨重的大数据平台，是不可能构建数据能力强大、功能强大的数据中台的；没有大数据中台，要迅速搭建小快灵的小前台也只是理想化的。
中台相关图集

文章插图
中台架构图

文章插图
阿里数据中台架构图
数据库的"分家"随着关系数据库理论的提出，诞生了一系列经典的RDBMS，如Oracle，MySQL，SQL Server等。这些RDBMS被成功推向市场，并为社会信息化的发展做出的重大贡献。然而随着数据库使用范围的不断扩大，它被逐步划分为两大基本类型：
操作型数据库（OLTP）主要用于业务支撑。一个公司往往会使用并维护若干个数据库，这些数据库保存着公司的日常操作数据，比如商品购买、酒店预订、打车下单、外卖订购等；
分析型数据库（OLAP）主要用于历史数据分析。这类数据库作为公司的单独数据存储，负责利用历史数据对公司各主题域进行统计分析；
总结：那么为什么要"分家"？在一起不合适吗？能不能构建一个同样适用于操作和分析的统一数据库？
答案是NO 。一个显然的原因是它们会"打架"......如果操作型任务和分析型任务抢资源怎么办呢？再者，它们有太多不同，以致于早已"貌合神离" 。接下来看看它们到底有哪些不同吧。
因为主导功能的不同(面向操作/面向分析)，两类数据库就产生了很多细节上的差异。就好像玩LOL一个中单一个ADC，肯定有很多行为/观念上的不同
OLAP 和 OLTP简介数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）：是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作。
联机分析处理OLAP（On-Line Analytical Processing）：是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。
OLAP 和 OLTP定义差别对比内容操作型数据库(OLTP)分析型数据库(OLAP)数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序，重复处理面向主题域，分析应用，支持决策数据特性动态变化，按字段更新静态、不能直接更新，只能定时添加、刷新数据结构高度结构化、复杂，适合操作计算简单，适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能需要访问大量记录对响应时间的要求以秒为单位计算以秒、分钟、甚至小时为计算单位
OLAP 和 OLTP定位差别对比属性OLTPOLAP代表MysqlHive读特性每次查询只返回少量数据对大量数据进行汇总写特性随机、低延迟写入用户的操作批量导入用户操作人员决策人员DB设计面向应用面向主题数据当前的，最新的细节，二维表历史的，聚集的，多维表工作单位事务性保证复杂查询用户数上千个上百万个DB大小100MB-GB100GB-TB以上时间要求具有实时性对时间的要求不严格主要应用数据库：WEB项目数据仓库：分析师