江苏龙网

  1. 首页 > 人文 > >

互联网企业都在用的Kafka为什么可以这么快？

在数据为王的时代 ， 对于海量数据的存储、传输、分析变得尤为重要 。 在数据的存储上有clickhouse、hbase等大数据库来完成 ， 在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行 ， 而在数据的传输上 ， 大家都不约而同使用了Kafka 。 高并发、高性能、快速成为了Kafka的代名词 。
Kafka+clickhouse+zookeeper成为了大数据分析处理行业的三件套 ， 不过今天我们只聊Kafka ， 你所知道的一线大厂 ， 如阿里、百度、腾讯、头条、美团、滴滴等 ， 均在Kafka上做了二次开发 ， 集合业务扩展了它的能力 ， 你所不知道的互联网企业则利用了Kafka的原生能力来辅助做业务处理 。 那么Kafka为什么可以做到这么快呢？今天我们就来聊一聊 。
互联网企业都在用的Kafka为什么可以这么快？文章插图
在第一点便是Kafka的特性 ， 使用partition分区来做并行处理 。 Kafka作为一个发布-订阅系统 ， 它所操作的最小单元便是topic主题消息 ， 而每一个topic可以划分为多个partition 。 不同partition一般位于不同的机器中 ， 利用集群的优势就可以实现机器间的并行处理 。 另外因为一个partition在机器上对应一个文件夹 ， 即使存在多个partition位于同一个机器节点 ， 也可以配置同一个机器节点的partition处于不同的磁盘 ， 实现磁盘间的并行处理 ， 提高速度 。
互联网企业都在用的Kafka为什么可以这么快？文章插图
第二点便是顺序写入磁盘 ， 我们知道Kafka数据是存储在磁盘上的 ， 磁盘读取数据的时间主要由寻道时间（正确的找到磁道）、旋转延迟（读写磁头旋转）、数据传输时间组成 。 如果磁盘是顺序读写数据 ， 磁头只要找到正确的磁道就可以不断的旋转获取数据了 ， 而如果磁盘是随机读写数据 ， 最差的情况每一份数据都在不同的磁道上 ， 那么就需要每次寻道、旋转磁头 ， 非常的耗时 ， 性能也很差 。 在Kafka中每个分区的数据是有序的、不可变的消息队列 ， 新的消息来到分区就会追加在最末尾 ， 顺序写的方式就提高了速度 。 当我们要去删除数据的时候 ， 也是通过把partition分为多个segment ， 直接删除segment即可 ， 也是非常的快 。
互联网企业都在用的Kafka为什么可以这么快？文章插图
第三点是利用pagecache 。 我们知道Kafka一般都是装在Linux系统使用的 ， 在Linux系统的设计中 ， 为了提高对磁盘访问的性能 ， 将文件的cache分为pagecache、buffercache两部分 ， 在pagecache模块缓存文件系统的数据 ， 支持进程对文件的读写 ， 在buffercache缓存块数据 ， 支持系统对块设备的读写 。 在Kafka中 ， 服务器节点broker收到数据后 ， 在写磁盘时把数据写入pagecache ， 把连续的小块组装成大块的物理写提高了性能 ， 在读磁盘数据时从pagecache读 ， 不通过物理磁盘获取 ， 提高了速度 。
互联网企业都在用的Kafka为什么可以这么快？文章插图
第四点是Kafka的零拷贝机制 。 我们知道操作系统的核心是内核 ， 为了避免用户直接操作内核 ， 操作系统一般把内核划分成两部分 ， 即内核空间、用户空间 。 在Linux系统中 ， 读取数据操作都是基于数据拷贝完成的 ， 也就是说数据会在内核地址空间的缓冲区和用户地址空间的缓冲区进行拷贝 ， 正常的数据读取流程一般包含四部分 。
1、操作系统需要先从磁盘里读取文件到内核页面的缓存；
2、用户态的应用程序从内核态读取数据到用户空间缓存区 ， 由于内核态的资源比较宝贵会经常释放；
3、用户态的应用程序还需要将数据写回内核空间并放入socket缓冲区；
4、最后操作系统将数据从socket缓冲区复制到网卡接口 ， 再经由网络发送给到消费者进程 。


推荐阅读


上一篇：抄github上的golang代码被坑后，弄懂了gin的原理

下一篇：亚马逊Prime day看看卖家怎么说的，很现实