江苏龙网

  1. 首页 > 资讯 > 科技 > >

清竹箭大数据与云计算( 二 )


产生数据的主题划分
1）少量企业应用产生的数据 ， 比如关系型数据库中的数据和数据仓库中的数据等 。
2）大量人产生的数据 ， 比如微信、移动通信数据、电子商务在线交易日志数据、企业应用的相关评论数据等 。
3）巨量机器产生的数据 ， 比如应用服务器日志、图像和视频监控数据、二维码和条形码扫描数据等 。
大数据架构划分
1）分析类型 。判断进行数据分析时 ， 对数据执行实时分析还是批量分析 。
2）处理方法 。 用来处理数据的技术类型（如预测、分析、临时查询和报告） 。
3）数据频率和大小 。 预计有多少数据和数据到达的频率有多高 。
4）数据类型 。 要处理数据的类型 ， 如交易、历史、主数据等 。
5）内容格式（传入数据的格式）结构化（例如 RDMBS）、非结构化（例如音频、视频和图像）或半结构化 。
6）数据源即数据的来源（生成数据的地方） ， 如 Web 和社交媒体、机器生成、人类生成等 。
7）数据使用者 。 处理数据的所有可能使用者的情况列表 。
8）硬件 。 用来实现大数据解决方案的硬件类型 ， 包括商用硬件或最先进的硬件 。
2、大数据分类图

清竹箭大数据与云计算
本文插图

3、数据类型
数据类型包括原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型 。
采用大数据方案解决问题时 ， 应熟悉项目的实际状况 ， 熟悉项目的建设流程 ， 弄清大数据分析技术的原理 ， 架构 ， 设计理念 ， 以及掌握大数据的关键技术 ， 才可以从容不迫的对待建设项目进行调研实施 。

清竹箭大数据与云计算
本文插图

4、大数据架构介绍
l 移动互联网 ， 每天产生了大量的点击数据 ， 这些数据被某些公司所有拥有 ， 形成用户大量行为数据
l 电子地图 ， 它代表着一种行为、一种习惯 ， 这些流数据经频率分析后会产生巨大的商业价值
l 社交网络 ， 它的出现 ， 大量的互联网用户创造出海量的社交行为数据
l 电子商务 ， 它的崛起带来了大量的网上交易数据 ， 这些数据的产生为大数据的研究带来了很大的契机 ， 其中隐藏了更大的商业价值 。
l 传统的互联网入口转向搜索引擎之后 ， 用户的搜索行为和提问行为聚集了海量数据 。 单位存储价格的下降也为存储这些数据提供了经济上的可能性 。
分析大数据时 ， 四种参考数据类型
1）交易数据：使用大数据平台能够帮助我们获取时间跨度更大、更海量的结构化交易数据 ， 这样就能够对更广泛的交易数据类型进行数据分析 ， 其中不仅仅包括POS或电子商务购物数据 ， 还包括行为交易数据 。
2）人为数据：非结构化数据广泛应用并存在于电子邮件、文档、图片、音频、视频中 ， 同时通过博客、维基 ， 尤其是社交媒体所产生的数据流 。 这些数据为使用文本分析功能进行分析提供了丰富的数据资源 。
3）移动数据：智能手机和平板这些移动设备上的App都能够追踪和沟通大量事件 ， 从App内的交易数据（如搜索产品的记录事件）到个人信息资料或状态报告事件（如地点变更即报告一个新的地理编码） 。
4）机器和传感器数据：机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子 。 物联网的数据可以用于构建分析模型 ， 连续监测预测性行为 ， 提供规定的指令 ， 做出及时正确的判断 。
架构 ， 又称软件架构 ， 是有关软件整体结构与组件的抽象描述 ， 用于指导大型软件系统各个方面的设计 。 软件系统的架构有两个要素：首先他是一个软件系统从整体到部分的最高层的的划分 ， 再则一个系统通常是由元件组成 ， 而这些元件如何形成、相互之间怎样发生作用 ， 就是这个系统本身结构的问题了 。 所以说软件架构是平衡的艺术 。


推荐阅读


上一篇：家庭主厨黄小哥TB这道菜最适合天热吃，做法简单又美观营养，做一盘上桌瞬间就抢光

下一篇：财联社中国移动打响5G消息“头炮”！产业链全名单来了