数据仓库系统架构和数仓分层体系介绍 _数据仓库

一、数据仓库体系架构公司借助的第三方数据平台，在此平台之上建设数据仓库。因为第三方平台集成了很多东西，所以省去了不少功夫。
数据仓库的体系架构，无外乎就是数据源、数据采集方式、计算存储系统、数据应用层，这几个方面。
1、数据源：
内部数据：如交易数据、会员数据，日志数据，由公司业务系统产生的数据。
外部数据：互联网数据和第三方服务商数据等。互联网数据就是我们使用爬虫爬取的互联网数据，而第三方数据，一般多指公司合作方产生的数据。

2、采集方式
离线采集，包括全量同步和增量同步。实时采集，顾名思义就是采用实时的策略采集数据，如我们想统计实时的交易数据。当产生一笔订单存入业务库时，我们可以通过Binlog等多种方式感知数据的变化，把新产生的数据同步的kafka其他消息队列，实时的消费使用数据。
第三方采集，跟公司商务合作的其他公司，他们暴露接口给我们，我们通过接口取数据，当然这只是其中一种方式，不同公司取数据的策略是不一样的。

文章插图
数据仓库的体系架构图
3、存储计算
通过集群的分布式计算能力和分布式文件系统，来计算和存储数据。我们使用的阿里云服务，把业务数据存储到hive中，然后划分为不同的层级，来规划整合数据。借助分布式文件系统可以存储大数据量的数据，包括久远之前的历史数据。

4、数据应用
使用HQL、Mapreduce、SparkSql、UDF函数等多种处理方式，对各种业务数据进行处理，形成一定规范模式的数据。把这些建模成型的数据提供给外界使用。如BI应用、挖掘分析、算法模型、可视化大屏系统。
当然最重要的是对数据的管理，数据就是我们的资产，只有管理的有条不紊，使用起来才能得手应心。我们可以建立数据地图、数据规范、数据质量系统，配置完整的任务调度(如Oozie) 。
当然运维方面是必不可少的，如果一个任务失败了，我们需要第一时间知道，这时就需要告警系统。另外还可以设置角色权限，整个系统有一个最高权限，还有开发权限，访问权限等等，这个需要根据公司需求来做。

二、数据仓库分层

文章插图
数据仓库分层
1、数据仓库分层模式作用
1.1、数据结构化更清晰：对于不同层级的数据，他们作用域不相同，每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
1.2、数据血缘追踪：提供给外界使用的是一张业务表，但是这张业务表可能来源很多张表。如果有一张来源表出问题了，我们可以快速准确的定位到问题，并清楚每张表的作用范围。
1.3、减少重复开发：数据分层规范化，开发一些通用的中间层数据，能够减少重复计算，提高单张业务表的使用率。
1.4、简化复杂的问题：把一个复杂的业务分成多个步骤实现，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。有点类似Spark RDD的容错机制。
1.5、减少业务的影响：业务可能会经常变化，这样做就不必改一次业务就需要重新接入数据。

文章插图

2、数据仓库分层介绍
2.1、ODS原始数据层
ODS层保存所有操作数据，不对原始数据做任何处理。在业务系统和数据仓库之间形成一个隔离，源系统数据结构的变化不影响其他数据分层。减轻业务系统被反复抽取的压力，由ODS统一进行抽取和分发。记住ODS层数据要保留数据的原始性。
处理原则：
根据源业务系统表的情况以增量或全量方式抽取数据；
ODS层以流水表和快照表为主，按日期对数据进行分区保存，不使用拉链表；
ODS层的数据不做清洗和转换，数据的表结构和数据粒度与原业务系统保持一致。

2.2、DWD数据明细层
DWD层的数据是经由ODS层数据经过清洗、转换后的明细数据，满足对标准化数据需求。如对NULL值处理，对数据字典解析，对日期格式转换，字段合并、脏数据处理等。
处理原则：
数据结构与ODS层一致，但可以对表结构进行裁剪和汇总等操作；