Kafka都没整明白,还敢去面试?( 五 )
本文插图
【Kafka都没整明白,还敢去面试?】KStreamBuilder 有个 Stream 方法 , 该方法以主题名称(topic name)作为参数 , 返回一个 KStream 对象 , 即 , 订阅了指定主题的实例化对象 。
本文插图
基于 KStream 对象 , 这时我们就可以使用 Kafka Streams 高级 DSL 提供的众多方法(例如:map , process , transform , join 等) , 然后将处理后的数据发送到另一个主题 。
本文插图
最后 , 通过构建器(builder)和流配置进行流式传输:
本文插图
通过 Kafka Streams API , 我们无需单独部署集群即可在 Kafka 中进行数据流处理 。
Kafka Streams API 给我们带来的便捷主要包含以下几个方面:
- 高可扩展性 , 灵活性 , 分布式和容错性 。
- 支持有状态和无状态处理 。
- 具有窗口 , 联接和聚合的事件时间处理 。
- 通过 Kafka Streams DSL 或较低级别的处理器 API 使用已经定义的常见转换操作 。
- 对处理没有单独的群集要求(与 Kafka 集成) 。
- 采用一次一个记录的处理以实现毫秒级的处理延迟 。
- 支持 Kafka Connect 连接到不同的应用程序和数据库 。
Kafka 的便捷操作是其备受业内人士广泛关注的原因之一 , 然而更重要的是其出色的稳定性 , 可靠性及耐用性 , 且具有灵活的发布/队列 , 可以很好地适应 N 个消费者组 , 具有强大的可复制性 , 可以为生产者提供一致性保证 。
本次分享基于 Kafka 核心要素及其常见部署做了详情解析 , 希望给圈内感兴趣的人士提供技术普及 , 交流互补 。
作者:罗小罗
简介:英国 TOP10 计算机专业 , 计算机科学与技术硕士 , 先后就职于汇丰 , JPMorgan , HP , 交行 , 阿里等国内外知名企业 。 涉及项目领域主要有:互联网金融 , 电商 , 教育 , 医疗等 。 现任就职于某世界 500 强公司 , 担任测试开发团队负责人 , 带领团队构建并持续优化自动化测试框架 , 研发自动化测试辅助类工具;擅长领域:单元/接口/性能/安全/自动化测试/CD/CI/DevOps;个人持续研究领域:自动化测试模型/数据分析/算法/机器学习等 。
编辑:陶家龙
征稿:有投稿、寻求报道意向技术人请联络 editor@51cto.com
【51CTO原创稿件 , 合作站点转载请注明原文作者和出处为51CTO.com】
推荐阅读
- 求职|2020年考上“专科”的新生注意了!这3件事越早明白越好,对就业有帮助
- 八路军|八路军6个师长5人成了元帅,他却连大将都没评上,网友:太亏了!
- 电池|iPhone12电池小,真的续航差?看看真实的数据就明白了
- 网友|面试时话都没讲就赶人走?”,杭州小伙想不通:“就因为家里拆迁了
- 家装百科|美元没上榜英镑排第5, 前三你可能都没听过,全球最值钱6大货泉,
- 电话诈骗|这种骗局连内行人都没看出来!你能看穿吗?
- 海沃德|1年3419万美元!仅仅3年,他从巨星退化到凡人,白送都没人要
- 哈比布|原创小鹰已是俄罗斯国宝拳王,但妻子情况完全保密,连一张照片都没有
- awesome科技|苹果12都没办法,小米宣布发布80W无线充电!这技术可真绝
- lpl|Rita周淑怡过时了?S10世界赛LPL新四大金花登台,都没满25岁