公司级大数据处理平台的构建需要做哪些准备
按照大数据处理的流程，分为数据采集、数据存储、数据提取、数据挖掘、数据分析，数据展现和应用。以下是链家网的案例，采用Hadoop集群建立BI和报表平台，以及采用业务员自助分析和数据挖掘、数据分析人员借用大数据平台的集群运算能力挖掘数据的双模式业务。
链家网大数据平台建设，平台枢纽--工具链 - 专栏
除此之外，更传统的企业对于大数据平台的应用也是基于以上的流程。
引用 专栏 这篇文章对于大数据平台建设的介绍，该机构是国家性研究机构，建立大数据平台主要收集市场数据，出台国家级的研究性报告，用于辅助市场决策。
从建设的及流程开始讲起吧，算是提供一个方法论。
第一步是数据整合，对多源多类型的数据进行整合，实现数据共享。目前以帆软报表FineReport为数据处理工具，以SQL Server为数据库存储平台，整合信息中心常用业务数据，常用的业务数据包括价格、进出口以及平衡表等。
第二步就是数据的抓取、处理和分析并自动化生成系列产品报告，实现目标是解放生产力。把业务人员从采集、整理、处理数据的体力劳动中解放出来，集中精力于市场深度分析研究、模型建立。本质上还是数据整合，不同地方是数据自动采集，并依据构建的模型。技术选型：FineReport +FineBI + Python + Kettle(ETL工具) + SQL Server。
第三步是数据挖掘，目标是构建行业模型和行业计量模型实现科学决策。
【公司级大数据处理平台的构建需要做哪些准备】 依托一期、二期整合的数据和大数据，接下来将构建大数据能力，提供标准化的服务能力。但粮油的分析模型、行业积累模型，是一种因素模型、经验模型，一定程度上依赖于分析师对市场的看法，这个模型分析结果需要分析师经验和直觉来判断，技术上要到位，所以这里通过帆软报表FineReport和商业智能FineBI的结果, 从数据报表、数据分析、数据挖掘三个层次，把数据转化为信息把数据转化为信息，使得业务人员能够利用这些信息，辅助决策，这就是商业智能主要解决的问题。无论在哪个层次，核心目标就是“把数据转化为信息”。
■网友
招人，招一个懂行的人。
■网友
泻药。于跨专业知识了解较少建议你要么找其他人做，要么自己先补补。一个成熟的、全面的数据平台包括：数据采集、数据挖掘、数据计算等等。如果想全面了解这个，可以认真研读我的slides：http://www.yebangyu.org/talkV201505.pdf你会发现，做一个数据平台不容易。大公司里，一个部门一个组，也基本上只负责其中的一个部分。
推荐阅读
- 江西省食品安全溯源平台上线揭开食品的“来龙去脉”
- #医保云#备案报销手机搞定 看病买药“一码通行” 江苏医保云平台上线试运行
- 市行政■盐城不动产交易一体化平台跑出全省最快加速度
- 联合国大数据全球平台中国区域中心在杭州成立
- “艺术无障碍平台”正式启动
- 汽车|马自达全新CX-5曝光！搭直列六缸引擎/后驱平台
- 大丰|盐城大丰开通智慧养老服务平台 已完成17万次上门服务
- 汽车知识|大变化！下一代马自达CX-5将搭载直列六缸+后驱平台
- |淮阴水政充分利用“双随机”平台 促进执法公平公正
- 汽车|现代E-GMP平台发布，对比大众MEB、丰田e-TNGA实力几何？