数据|七牛云 X 吉利:产业数字化,从“制造”到“智造”( 二 )
如文件系统、数据库数据等可采用logkit采集器进行对接,数据采集后直接输出到Pandora平台上,而在部分特殊场景例如网络无法直通或者数据流量较大需要缓存的情况下,也支持把采集到的数据先存入本地文件或 kafka ,再将数据消费存入 Pandora 平台中 。 同时,例如 syslog、HTTP 服务等本身支持数据推送的数据源,则可以直接将数据推送到 Pandora 平台所监听的服务端口,实现数据的直接上报,简单、高效 。
按照规划,数据汇总到 Pandora 平台后会先进入热数据节点提供数据查询分析服务,随着时间推移,根据预先设定的规则数据会自动迁移到冷数据节点中做持久化保存,这一针对业务特别优化的冷热分离架构,在保障数据合规安全的同时也极大的提升并优化了资源成本和使用效率 。
以上是七牛云对机器数据分析标准语言 SPL 的实践 。 SPL 支持对原始数据直接处理,并且统一了检索、分析、可视化和告警等需求 。 引入 SPL 后的 Pandora 具备了更强大的计算能力,内置百余种分析命令快速创建模型自定义搜索,针对典型场景及业务提供开箱即用的分析模板和检测规则 。 用户在数据采集时无需对多种不同数据源进行梳理和解析,可以直接原始数据进行统一存储归档,入库后再根据不同的需求对数据进行高效灵活的处理和分析,日志数据采集范围的广覆盖为用户带来了极其简便、顺滑的数据接入体验 。
而七牛云机器数据分析平台 Pandora 特有的Schema On Read 模式,也能有效提高数据写入速度,降低数据接入成本,实现对数据更高效的聚合和分析,让亿级数据检索所需时间从原来的数分钟缩减到秒级 。 极大的满足了灵活的业务分析需求、便于开展探索性数据分析 。
通过对各类机器数据的汇集、分析和关联,并基于各种场景化的分析用例规则,Pandora 机器数据分析平台可从海量庞杂的原数据中快速分析出更直观、准确的数据处理结果,实现高效的运维监控和安全态势感知 。 降低各部门的信息获取门槛,提高数据处理效率,最终达成对业务系统、应用系统及生产网络等系统中各类潜在威胁的即时发现和响应处置,最大程度消除来自内外部的风险和威胁,提升整体运维安全质量 。
考虑到吉利在全国各地数据中心业务高峰的时间/流量不同的实际情况,在设计上,七牛云Pandora也帮助在各个数据中心的接入方案中预留了数据缓冲区,并做了突发流量控制,可起到数据平稳流动和落地的效用,避免突发网络带宽压力,降本增效 。
值得一提的是,七牛云机器数据分析平台还内置了应用商店,通过沉淀领域知识针对行业典型场景提供了开箱即用的解决方案,并且具备极强的开放性,支持外部合作伙伴自主开发应用,生态共建 。
目前,合作项目还处在一期阶段,通过 Web 界面,吉利的应用管理员即可以很方便的一站式管理海量数据,实时监控关键指标,及时发现业务异常,使纷繁复杂的数据可视、可感、可知 。 将复杂业务单元的跨业务故障排查从几天缩短到小时级 。 合作二期及将来规划中七牛云 Pandora 还能提供回归与分类、异常检测、时序预测、事件聚类等丰富的机器学习算法,提升异常诊断及业务预判能力,维护系统稳定性,降低系统威胁,进一步实现对现代系统中不可预测行为的解释,为决策提供可靠支撑 。
数据赋能 吉利七牛携手驱动未来
恰逢百年不遇的时代变局和行业颠覆性变革的大背景,吉利在以“让世界充满吉利”愿景的指引下,不畏严寒,苦练内功,深化变革,以用户为中心,化“危”为“机”,推动中国制造业向价值链中高端挺进,推动制造业向科技型企业转型,参与全球汽车产业格局的重塑 。七牛云也将利用自身技术优势和专业服务,坚守 “持续用数据科技全面驱动数字化未来,赋能各行各业全面进入 DT 时代”的使命,把产业合作实践沉淀下来的技术和经验进行更好的优化应用和反哺赋能 。
此次七牛云与吉利的合作实现了对集团海量复杂数据的统一管理和监控分析,作为数据底座,为吉利下一个“千万辆”时代打好基础 。 面对当前全球经济的诸多不确定性,双方也将与全球伙伴一起战略协同,资源共享,推动产业变革,共创社会价值、商业价值、用户价值,引领中国汽车品牌重构全球汽车产业格局,让用户感受中国制造的品质魅力 。
推荐阅读
- 数据|智领云荣登“中国大数据企业50强” | 2020大数据产业生态大会盛大召开
- 大数据|华云数据荣获中国大数据50强、2020数字赋能先锋企业30强,入选大数据产业发展白皮书及百佳案例
- 驱动中国|即信Fintech智研中心:银行践行社交化运营的要诀--渠道通 交互通 数据通
- 行业互联网|华云数据荣获中国大数据50强、2020数字赋能先锋企业30强,入选大数据产业发展白皮书及百佳案例
- 技术编程|数据结构001之简介
- 行业互联网|爱数亮相第八届医药健康论坛,以数据赋能药企数字化
- 行业互联网|智领云荣登“中国大数据企业50强”| 大数据产业生态大会
- 互联网|图匠数据CTO梁柱锦:利用AI与大数据提升线下零售管理能力 | 公开课预告
- 青年|活动都有数据记录,离床久了会报警……人工智能养老进入武汉家庭
- 电脑使用技巧|Excel数据处理与分析应用课程:NO2文件管理与打印设置