1.前言像大白这种调包侠,深知不懂底层技术点就如同空中楼阁,再这样下去面阿里p10是没希望了 。
想到这里,我开始慌了,所以今天和大家一起学习个底层技术点-零拷贝Zero-Copy 。
linux系统中一切皆文件,仔细想一下Linux系统的很多活动无外乎读操作和写操作,零拷贝就是为了提高读写性能而出现的 。
废话不多说,马上开大车,走起!
2. 数据拷贝基础过程在Linux系统内部缓存和内存容量都是有限的,更多的数据都是存储在磁盘中 。对于Web服务器来说,经常需要从磁盘中读取数据到内存,然后再通过网卡传输给用户:
文章插图
上述数据流转只是大框,接下来看看几种模式 。
2.1 仅CPU方式
- 当应用程序需要读取磁盘数据时,调用read()从用户态陷入内核态,read()这个系统调用最终由CPU来完成;
- CPU向磁盘发起I/O请求,磁盘收到之后开始准备数据;
- 磁盘将数据放到磁盘缓冲区之后,向CPU发起I/O中断,报告CPU数据已经Ready了;
- CPU收到磁盘控制器的I/O中断之后,开始拷贝数据,完成之后read()返回,再从内核态切换到用户态;
文章插图
2.2 CPU&DMA方式CPU的时间宝贵,让它做杂活就是浪费资源 。
直接内存访问(Direct Memory Access),是一种硬件设备绕开CPU独立直接访问内存的机制 。所以DMA在一定程度上解放了CPU,把之前CPU的杂活让硬件直接自己做了,提高了CPU效率 。
目前支持DMA的硬件包括:网卡、声卡、显卡、磁盘控制器等 。
文章插图
有了DMA的参与之后的流程发生了一些变化:
文章插图
最主要的变化是,CPU不再和磁盘直接交互,而是DMA和磁盘交互并且将数据从磁盘缓冲区拷贝到内核缓冲区,之后的过程类似 。
“【敲黑板】无论从仅CPU方式和DMA&CPU方式,都存在多次冗余数据拷贝和内核态&用户态的切换 。我们继续思考Web服务器读取本地磁盘文件数据再通过网络传输给用户的详细过程 。
”
3.普通模式数据交互一次完成的数据交互包括几个部分:系统调用syscall、CPU、DMA、网卡、磁盘等 。
文章插图
系统调用syscall是应用程序和内核交互的桥梁,每次进行调用/返回就会产生两次切换:
- 调用syscall 从用户态切换到内核态
- syscall返回 从内核态切换到用户态
文章插图
来看下完整的数据拷贝过程简图:
文章插图
读数据过程:
- 应用程序要读取磁盘数据,调用read()函数从而实现用户态切换内核态,这是第1次状态切换;
- DMA控制器将数据从磁盘拷贝到内核缓冲区,这是第1次DMA拷贝;
- CPU将数据从内核缓冲区复制到用户缓冲区,这是第1次CPU拷贝;
- CPU完成拷贝之后,read()函数返回实现用户态切换用户态,这是第2次状态切换;
- 应用程序要向网卡写数据,调用write()函数实现用户态切换内核态,这是第1次切换;
- CPU将用户缓冲区数据拷贝到内核缓冲区,这是第1次CPU拷贝;
- DMA控制器将数据从内核缓冲区复制到socket缓冲区,这是第1次DMA拷贝;
- 完成拷贝之后,write()函数返回实现内核态切换用户态,这是第2次切换;
- 读过程涉及2次空间切换、1次DMA拷贝、1次CPU拷贝;
- 写过程涉及2次空间切换、1次DMA拷贝、1次CPU拷贝;
4. 零拷贝技术4.1 出现原因我们可以看到,如果应用程序不对数据做修改,从内核缓冲区到用户缓冲区,再从用户缓冲区到内核缓冲区 。两次数据拷贝都需要CPU的参与,并且涉及用户态与内核态的多次切换,加重了CPU负担 。
推荐阅读
- 十个古老而又强大的正则表达式,能让你少写1000行JS代码
- 一文读懂所有HTTP状态码含义
- 个人网站站长的时代要彻底落幕了,挥手不带云彩
- 写不出文章怎么办?学会这个模板让你下笔如有神
- 面膜|面膜哪个牌子好?连明星都爱用的面膜排行榜 用一次就让你入坑
- HDMI和DP区别在哪里?电脑连接线怎么选,一文看懂连接线的历史
- 让你的旧打印机变身WIFI打印机
- 电脑运行缓慢?学会这3招,让你的电脑速度跑起来
- 一文带你理解URI 和 URL 有什么区别?
- Win11彻底解决系统蓝屏问题简单粗暴!只是背景换成了黑屏