产业气象站|传感器数据流异常检测的深度学习KSQL UDF，「物联网架构」MQTT
用于传感器分析的KSQLUDF 。 利用KSQL的新的API特性 ， 用Java轻松地构建UDF/UDAF函数 ， 从而使用ApacheKafka进行连续流处理 。 用例:联网汽车——使用深度学习的实时流媒体分析 。
我为混合机器学习基础设施构建了一个场景 ， 利用ApacheKafka作为可伸缩的中枢神经系统 。 使用公共云在极端尺度下训练分析模型(如通过谷歌ML引擎在谷歌云平台(GCP)上使用TensorFlow和TPUs 。 预测(即模型推断)是在本地Kafka基础设施的边缘前提下执行的(例如利用Kafka流或KSQL进行流分析) 。
这篇文章的重点是在前提部署 。 我用KSQLUDF创建了一个用于传感器分析的Github项目 。 它利用KSQL的新API特性轻松地使用Java构建UDF/UDAF函数 ， 对传入事件进行连续流处理 。
用例:联网汽车——使用深度学习的实时流媒体分析连续处理来自连接设备(本例中的汽车传感器)的数百万个事件:
文章图片
我建立了不同的分析模型 。 他们在公共云上接受训练 ， 利用TensorFlow、H2O和谷歌ML引擎 。 模型创建不是这个示例的重点 。 最终的模型已经准备好投入生产 ， 并可以部署进行实时预测 。
模型服务可以通过模型服务器或原生嵌入到流处理应用程序中来完成 。 查看模型部署中RPC与流处理的权衡和“TensorFlow+gRPC+Kafka流”示例 。
演示:使用MQTT、Kafka和KSQL在边缘进行模型推断Github项目生成汽车传感器数据 ， 通过ConfluentMQTT代理将其转发到Kafka集群进行KSQL处理和实时分析 。
这个项目主要是通过MQTT将数据输入Kafka ， 通过KSQL对数据进行处理:
文章图片
ConfluentMQTT代理的一大优点是可以简单地实现物联网场景 ， 而不需要MQTT代理 。 您可以通过MQTT代理直接将消息从MQTT设备转发到Kafka 。 这大大减少了工作和成本 。 如果您“只是”希望在Kafka和MQTT设备之间进行通信 ， 那么这是一个完美的解决方案 。
【产业气象站|传感器数据流异常检测的深度学习KSQL UDF，「物联网架构」MQTT】如果你想看这个故事的其他部分(与像Elasticsearch/Grafana这样的sink应用的集成) ， 请看看Github项目“KSQL流物联网数据” 。 通过KafkaConnect和Elasticconnector实现了与ElasticSearch和Grafana的集成 。
KSQLUDF源代码开发udf非常容易 。 只需在一个UDF类中实现一个Java方法:
@Udf(description="applyanalyticmodeltosensorinput")publicStringanomaly(Stringsensorinput){"YOURLOGIC
推荐阅读
- 产业气象站|5G基站太耗电！三大运营商正式官宣：将智能化关闭5G基站节约电费
- 产业气象站|他从不打无准备之仗，华为联手哈工大究竟想干啥？依任总性格
- 产业气象站|G是否影响健康？，张朝阳用手机保持30厘米
- 爱集微APP|“芯”势力助推游戏产业发展，芯片成为ChinaJoy的关键词之一
- 产业气象站|电力机器人“小白”上岗巡检
- 产业气象站|苏宁智能宣布五项Biu+共享政策，从生态赋能到生态共享
- 产业气象站|点赞“中国芯里的南大智慧”！华为公司CEO任正非一行访问南京大学
- 产业气象站|花多少钱收购，微软正在谈判收购TikTok美国业务
- 产业气象站|包括王兴，马云创办支付宝的本质不是为了支付，很多人没理解
- 上观新闻|半导体产业如何发展？嘉定举办的这个论坛指明了方向