redis,Nginx,Netty,Node.js 为什么这么香?这些技术都是伴随 linux 内核迭代中提供了高效处理网络请求的系统调用而出现的 。今天我们从操作系统层面理解 Linux 下的网络 IO 模型!
文章插图
图片来自 Pexels
I/O( INPUT/OUTPUT),包括文件 I/O、网络 I/O 。计算机世界里的速度鄙视:
- 内存读数据:纳秒级别 。
- 千兆网卡读数据:微妙级别 。1 微秒= 1000 纳秒,网卡比内存慢了千倍 。
- 磁盘读数据:毫秒级别 。1 毫秒=10 万纳秒,硬盘比内存慢了 10 万倍 。
- CPU 一个时钟周期 1 纳秒上下,内存算是比较接近 CPU 的,其他都等不起 。
在网络编程中如何进行网络 I/O 优化?怎么高效地利用 CPU 进行网络数据处理?
相关概念从操作系统层面怎么理解网络 I/O 呢?计算机的世界有一套自己定义的概念 。
如果不明白这些概念,就无法真正明白技术的设计思路和本质 。所以在我看来,这些概念是了解技术和计算机世界的基础 。
同步与异步,阻塞与非阻塞理解网络 I/O 避不开的话题:同步与异步,阻塞与非阻塞 。
拿山治烧水举例来说,(山治的行为好比用户程序,烧水好比内核提供的系统调用),这两组概念翻译成大白话可以这么理解:
- 同步/异步关注的是水烧开之后需不需要我来处理 。
- 阻塞/非阻塞关注的是在水烧开的这段时间是不是干了其他事 。
文章插图
同步非阻塞:点火后,去看电视(非阻塞),时不时看水开了没有,水开后关火(同步) 。
文章插图
异步阻塞:按下开关后,傻等水开(阻塞),水开后自动断电(异步) 。
文章插图
网络编程中不存在的模型 。
异步非阻塞:按下开关后,该干嘛干嘛 (非阻塞),水开后自动断电(异步) 。
文章插图
内核空间 、用户空间
文章插图
内核空间 、用户空间如上图:
- 内核负责网络和文件数据的读写 。
- 用户程序通过系统调用获得网络和文件的数据 。
文章插图
内核态、用户态如上图:
程序为读写数据不得不发生系统调用 。
通过系统调用接口,线程从用户态切换到内核态,内核读写数据后,再切换回来 。
进程或线程的不同空间状态 。
文章插图
线程的切换如上图,用户态和内核态的切换耗时,费资源(内存、CPU) 。
优化建议:
- 更少的切换 。
- 共享空间 。
文章插图
套接字作用如下:
- 有了套接字,才可以进行网络编程 。
- 应用程序通过系统调用 socket(),建立连接,接收和发送数据(I/O) 。
- Socket 支持了非阻塞,应用程序才能非阻塞调用,支持了异步,应用程序才能异步调用 。
文章插图
网络编程都需要知道 FD???FD 是个什么鬼???Linux:万物都是文件,FD 就是文件的引用 。
像不像 JAVA 中万物都是对象?程序中操作的是对象的引用 。Java 中创建对象的个数有内存的限制,同样 FD 的个数也是有限制的 。
文章插图
Linux 在处理文件和网络连接时,都需要打开和关闭 FD 。
每个进程都会有默认的 FD:
- 0 标准输入 stdin
- 1 标准输出 stdout
- 2 错误输出 stderr
推荐阅读
- 分享Nginx搭建图片服务器简单实现
- 部署Nginx+Apache动静分离
- Redis简单动态字符串 全面剖析
- 分布式系统之Redis主从架构
- 分享--部署Nginx+Apache动静分离
- PHP操作Redis常用方法总结
- 一篇详解Redis延时队列
- 阿里P9架构师分享:通俗易懂Redis原理,都是你没看过的
- Linux系统架构-----Apache与Nginx动静分离
- Linux下如何用nginx+ffmpeg搭建流媒体服务器