江苏龙网

  1. 首页 > 人文 > >

Kafka都没整明白，还敢去面试？


【51CTO.com原创稿件】Apache Kafka 被誉为时下热门的企业级消息传递系统 ， 其初衷是一个分布式流系统 ， 用于发布和订阅记录流 ， 以其快速 ， 高可扩展性以及较完美的容错效果备受业内人士青睐 。
Kafka都没整明白，还敢去面试？
本文插图
图片来自 Pexels
放眼当下数据为王的时代 ， 深入了解 Apache Kafka 及其常见的部署应用 ， 快速实现数据架构(Kafka Fast Data Architecture)已是大势所趋 ， 刻不容缓 。
以下分别 Kafka 架构 ， 四大核心 API ， 典型应用场景 ， Kafka 代理与消息主题 ， 集群的创建 ， 流 APIs(Stream APIs)及其处理模式等不同方面展开详细介绍 。
Kafka：分布式流平台
Kafka 是一个分布式流平台 ， 用于发布和订阅消息流(也称记录流或数据流) ， 快速有效地利用 I/O 进行数据流的批处理 ， 压缩及解耦 ， 并将数据流传输到数据池 ， 应用程序和实时流分析系统中 。
Kafka 将主题消息分区复制到多个服务器中 ， 允许用户通过自己的应用程序来处理这些记录 。
Kafka都没整明白，还敢去面试？
本文插图
Kafka 四大核心 APIs
Kafka 由记录(records) ， 主题(topics) ， 使用者(consumers) ， 生产者(producers) ， 代理服务(brokers) ， 日志(logs) ， 分区(partitions)和集群(clusters)组成 。
Kafka 主题是一个记录流 ， 每个主题都有对应的日志 ， 该日志是该主题在磁盘上的存储 ， 每个主题日志又分为多个分区和片段 。
Kafka Producer API 用于生成数据记录流 。 Kafka Consumer API 用于消费来自 Kafka 的记录流 。
Broker 是在 Kafka 集群中运行的 Kafka 服务器 ， Kafka 集群由多个代理服务器组成 。
Kafka都没整明白，还敢去面试？
本文插图
①生产者 API(Producer API)：消息的生产者 ， 向 Kafka broker 发消息的客户端 。
允许客户端与集群中运行着的 Kafka 服务器相连接 ， 并将记录流发布到一个或多个 Kafka topics(消息主题)中 。
一台 Kafka 服务器就是一个 broker ， 一个集群由多个 broker 组成 ， 一个 broker 可以容纳多个 topic 。
②消费者 API(Consumer API)：消息消费者 ， 向 Kafka broker 获取消息的客户端 。
允许客户端连接集群中运行着的 Kafka 服务器 ， 并消费其中一个或多个 Kafka topics(消息主题)的记录流 。
③流 API(Stream API)：充当流处理器 ， 用于输入输出流的转换 。
允许客户端充当流处理器 ， 从一个或多个 topics(消息主题)消费输入流 ， 并生产输出流 ， 输出到一个或多个其他 topics(消息主题)中 ， 从而有效地将输入流转换至输出流 。
④连接器 API(Connector API)：允许编写可重用的生产者和消费者代码 。
我们可以从任何关系型数据库中读取数据 ， 并将其发布到主题中 ， 同时也可以“消费”这个主题中的数据 ， 并将其写入关系型数据库 。
由此可见 ， Connector API 支持构建和运行可重复使用的生产者或消费者 ， 并将 topic 连接到现有的应用程序或数据系统 。 (例如 ， 就关系型数据库而言 ， 其连接器可以捕获到各个表中的每个变化 。 )
Kafka应用场景
消息系统
Kafka 作为企业消息传递系统 ， 通过源系统及目标系统间的分离来实现数据交换 。 与 JMS 相比 ， Kafka 兼具高吞吐量分区及高可靠容错力的复制功能 。
Kafka都没整明白，还敢去面试？
本文插图
Web 站点活动跟踪
跟踪记录用户在网站上的所有事件信息 ， 从而进行数据的分析及脱机处理 。


推荐阅读


上一篇：大|2020年5万元存银行三年活期定期利息多少？9月最新银行存款利率表

下一篇：汇商|Holding拟明年退出香港市场，盛宝银行则加码投资，SBI