清竹箭大数据与云计算
1、大数据与云计算
大数据和云计算密不可分 , 由于大数据处理和应用需求急剧增长 , 学术界和工业界不断推出新的或改进的计算模式和系统工具平台 。
本文插图
2、云计算的概念
云是网络、互联网的一种比喻说法 , 通常在图中往往用云来表示电信网 , 后来也用云来表示互联网和底层基础设施的抽象 。 云计算并不是对某一项独立技术的称呼 , 而是对实现云计算模式所需要的所有技术的总称 。
本文插图
3、云计算是什么?
1)维基百科
云计算是一种基于互联网的服务方式 , 提供动态可伸缩的虚拟化的资源的计算模式 。 通过这种方式 , 共享的软硬件资源和信息可以按需求提供给计算机和其他设备 , 他就像我们日常生活中用水和用电一样 , 按需付费 , 无需关心水电是从哪里来的 。
2)NIST
云计算是一种按使用量付费的模式 , 这种模式提供可用的、便捷的、按需的网络访问 , 进入可配置的计算资源共享池 , 这些资源能够被快速提供 , 只需投入很少的管理工作 , 或与服务供应商进行很少的交互 。
3)国务院政府
基于互联网的相关服务的增加、使用和交付模式 , 通常涉及通过互联网来提供、动态易扩展且经常是虚拟化的资源 。 云计算是传统计算机和网络技术发展融合的产物 , 他意味着计算能力也可作为一种商品通过互联网进行流通 。
4、云计算的特点
l 资源池弹性可扩张
l 需求服务自助化
l 虚拟化
l 以网络为中心
l 高可靠性和安全性
5、云计算的服务方式
IaaS:基础设施级服务 , 消费者通过Internet可以从完善的计算机基础设施获得服务 。 IaaS是把数据中心、基础设施等硬件资源通过Web分配给用户的商业模式 。
PaaS:平台级服务 。 PaaS实际上是指将软件研发的平台作为一种服务 , 以SaaS的模式提交给用户 。 因此 , PaaS也是SaaS模式的一种应用 。
SaaS:软件级服务 。 它是一种通过Internet提供软件的模式 , 用户无需购买软件 , 而是向提供商租用基于Web的软件 , 来管理企业经营活动 。
6、云平台架构图
本文插图
本文插图
(二)大数据架构介绍
大数据架构是一种结构化和基于模式的方法来简化定义完整的大数据架构的任务 。
1、大数据的分类
数据类型划分
1)传统企业数据(Traditionalenterprisedata):包括MIS系统的数据 , 传统的ERP数据库存数据以及财务账目数据等 。
2)机器和传感器数据(Machine-generated/sensordata):包括呼叫记录(CallDetailRecords) , 智能仪表 , 工业设备传感器 , 设备日志 , 交易数据等 。
3)社交数据(Socialdata):包括用户行为记录 , 反馈数据等 。 如Twitter , Facebook这样的社交媒体平台 。
处理过程划分
海量型数据 。 大数据计算中的数据挖掘是通过挖掘海量的数据推动科学知识的界限 , 数据集越大 , 结论越精确 。
响应型数据 。 响应型的数据集很大 , 但它的价值围绕着很具价值的分析结果影随型数据 。 影随型数据是一种你拥有 , 但并不容易拿到的数据 。
过程型数据 。 又称为操作数据 。 这是从生产设备、工业机械和其他在商业建筑和工业厂房里找到的信息 。
未知型数据 。 未知型数据包括现在可以能够拿到的、希望拿到的、然而还不充足的信息 。
推荐阅读
- 人群中国科学家通过古人基因组数据探寻中国文明源流
- 联想|联想个人云存储Mac版上线 苹果电脑用户数据备份更便捷
- 信息史上最全SpaceX火箭数据开源,核心、组员舱、起落架、发射信息全都有!
- 云创|真旺(徐州)大数据总经理李华领一行到访云创
- 主题马蜂窝大数据:大人小孩一起过“六一”,主题公园最受欢迎
- |6大数据可视化应用设计规范
- 链上|链上数据5月扫描:10000美元阻力下的链上百态
- 孜然实验室|DNA存储器突破了理论极限,一部手机装下全世界的数据
- 数据驶向智能海洋深处,华为存储的无尽想象
- 儿童节|【拼多多儿童节消费数据:购买儿童节礼物的成年人同比增长317%】