Kafka都没整明白,还敢去面试?( 五 )


本文插图
【Kafka都没整明白,还敢去面试?】KStreamBuilder 有个 Stream 方法 , 该方法以主题名称(topic name)作为参数 , 返回一个 KStream 对象 , 即 , 订阅了指定主题的实例化对象 。
Kafka都没整明白,还敢去面试?
本文插图
基于 KStream 对象 , 这时我们就可以使用 Kafka Streams 高级 DSL 提供的众多方法(例如:map , process , transform , join 等) , 然后将处理后的数据发送到另一个主题 。
Kafka都没整明白,还敢去面试?
本文插图
最后 , 通过构建器(builder)和流配置进行流式传输:
Kafka都没整明白,还敢去面试?
本文插图
通过 Kafka Streams API , 我们无需单独部署集群即可在 Kafka 中进行数据流处理 。
Kafka Streams API 给我们带来的便捷主要包含以下几个方面:

  • 高可扩展性 , 灵活性 , 分布式和容错性 。
  • 支持有状态和无状态处理 。
  • 具有窗口 , 联接和聚合的事件时间处理 。
  • 通过 Kafka Streams DSL 或较低级别的处理器 API 使用已经定义的常见转换操作 。
  • 对处理没有单独的群集要求(与 Kafka 集成) 。
  • 采用一次一个记录的处理以实现毫秒级的处理延迟 。
  • 支持 Kafka Connect 连接到不同的应用程序和数据库 。
总结
Kafka 的便捷操作是其备受业内人士广泛关注的原因之一 , 然而更重要的是其出色的稳定性 , 可靠性及耐用性 , 且具有灵活的发布/队列 , 可以很好地适应 N 个消费者组 , 具有强大的可复制性 , 可以为生产者提供一致性保证 。
本次分享基于 Kafka 核心要素及其常见部署做了详情解析 , 希望给圈内感兴趣的人士提供技术普及 , 交流互补 。
作者:罗小罗
简介:英国 TOP10 计算机专业 , 计算机科学与技术硕士 , 先后就职于汇丰 , JPMorgan , HP , 交行 , 阿里等国内外知名企业 。 涉及项目领域主要有:互联网金融 , 电商 , 教育 , 医疗等 。 现任就职于某世界 500 强公司 , 担任测试开发团队负责人 , 带领团队构建并持续优化自动化测试框架 , 研发自动化测试辅助类工具;擅长领域:单元/接口/性能/安全/自动化测试/CD/CI/DevOps;个人持续研究领域:自动化测试模型/数据分析/算法/机器学习等 。
编辑:陶家龙
征稿:有投稿、寻求报道意向技术人请联络 editor@51cto.com
【51CTO原创稿件 , 合作站点转载请注明原文作者和出处为51CTO.com】


推荐阅读