按关键词阅读:
真实性(Veracity) 真实性是指质量、一致性和数据的可信性 , 有真实性的数据才能进行准确的分析 。 这一点对于物联网来说尤其重要 , 特别是那些群体感知数据 。 **
易变性(Variability) 这个属性是指数据流的速率不同 。 由于物联网应用的性质 , 不同的数据生成组件可能会有不一致的数据流 。 此外 , 在特定时间 , 一个数据源的数据加载速率可能不同 。 例如 , 利用物联网传感器的停车服务应用在高峰期的数据加载会达到峰值 。 **
价值(Value) 价值是指大数据成为有用的信息和内容 , 为组织带来竞争优势 。 数据的价值的高度不仅仅取决于对数据的处理过程或服务 , 还取决于对待数据的方式 。
针对以上 IoT 的数据特征 , IoT 相关大数据以及 AI 分析工具需要解决如下数据计算问题:
越来越多的半结构化、非结构化数据分析需求:越来越多的 IoT 设备产生半结构化、甚至非结构化数据 , 包括日志、图片、音频、这些都需要大数据以及 AI 相关分析工具进行分析处理 。 **
越来越多的智能化数据处理需求:大量图片、音频、场景 , 需要使用 AI 增强的实时化处理工具进行分析处理 , 而非传统的数据库和大数据工具 。 **
由数据分析人工决策到数据计算反向控制生产链路:IoT 的大数据分析从产生报表进而交给人工决策 , 逐步过渡到数据计算结果直接反向控制生产链路 , 节省人力决策的成本 。
解决方案
文章图片
阿里云实时计算 Flink 版是阿里云打造的基于 Apache Flink 的企业级系列产品 , 其底层技术引擎由 Flink 创始团队的商业化产品 - Ververica Platform 所驱动 。 针对 IoT 时代下大数据分析的需求 , 阿里云实时计算 Flink 版结合阿里云整个 IaaS 以及 PaaS 的基础设施 , 能够为 IoT 客户解决如下问题:
数据实时化处理:阿里云实时计算 Flink 版具备低延迟、高吞吐、一致性等特点 , 非常适合 IoT 的实时化数据清洗、分析、处理的计算需求 。
越来越多的半结构化、非结构化数据分析需求:具备结构化数据处理(分析、统计类计算处理)包括 SQL、TableAPI、PyFlink 等高效 API 解决数据分析难题;同时实时计算 Flink 版包括 DataStream 的 Flink 底层 API , 针对非结构化的音频、等内容也能够从容分析 。
越来越多的智能化数据处理需求:流式数据底层框架 , 基于 Flink 开源 API , 用户可以自由组合图像、音频、处理算法包 , 灵活的智能化处理数据需求 。
成功案例
协鑫光伏
引入阿里云飞天大数据平台以来 , 光伏生产良品率已经提升了 1 个 百分点 , 节省成本数千万 。
客户简介
协鑫光伏坐落在环境优美的苏州工业园区 , 是全球领先的光伏材料制造商 , 硅片产品占国内流通硅片的 70% , 处于国内同行业龙头地位 。 在技术研发、品质控制、自动化升级等方面也都处于较高水平 。
通过多年对生产流程的优化 , 协鑫的生产效率和产品品质始终保持着行业领先 , 然而 , 他们渐渐感到如果继续保持传统的方式 , 可优化的空间将越来越小 。 对于追求卓越的协鑫人来说 , 生产品质提升的最后一公里要怎么走 , 这无疑是一个巨大的难题 。 苏州协鑫光伏总经理曾表示:“未来苏州协鑫的继续突破还是要靠新技术和新产品 。 ”
阿里云实时计算 Flink 版解决方案
智能制造的兴起 , 将大数据分析引入到制造中 。 通过对生产数据的采集并上传云端 , 能够进行数据实时和长期分析 , 并对生产过程进行监控 , 分析生产流程中可优化的部分;监控影响产品质量的环节 , 对产品质量进行量化分析和提升;对设备情况进行预测 , 优化备本备件 。
来源:(未知)
【江苏龙网】网址:/a/2021/0326/lmkd092K3bP2020.html
标题:行业应用,同时实时计算,Flink,版,IoT,版解决方案( 二 )