Redis,Nginx,Netty为什么这么香?

redis,Nginx,Netty,Node.js 为什么这么香?这些技术都是伴随 linux 内核迭代中提供了高效处理网络请求的系统调用而出现的 。今天我们从操作系统层面理解 Linux 下的网络 IO 模型!

Redis,Nginx,Netty为什么这么香?

文章插图
图片来自 Pexels
I/O( INPUT/OUTPUT),包括文件 I/O、网络 I/O 。计算机世界里的速度鄙视:
  • 内存读数据:纳秒级别 。
  • 千兆网卡读数据:微妙级别 。1 微秒= 1000 纳秒,网卡比内存慢了千倍 。
  • 磁盘读数据:毫秒级别 。1 毫秒=10 万纳秒,硬盘比内存慢了 10 万倍 。
  • CPU 一个时钟周期 1 纳秒上下,内存算是比较接近 CPU 的,其他都等不起 。
CPU 处理数据的速度远大于 I/O 准备数据的速度。任何编程语言都会遇到这种 CPU 处理速度和 I/O 速度不匹配的问题!
在网络编程中如何进行网络 I/O 优化?怎么高效地利用 CPU 进行网络数据处理?
相关概念从操作系统层面怎么理解网络 I/O 呢?计算机的世界有一套自己定义的概念 。
如果不明白这些概念,就无法真正明白技术的设计思路和本质 。所以在我看来,这些概念是了解技术和计算机世界的基础 。
同步与异步,阻塞与非阻塞理解网络 I/O 避不开的话题:同步与异步,阻塞与非阻塞 。
拿山治烧水举例来说,(山治的行为好比用户程序,烧水好比内核提供的系统调用),这两组概念翻译成大白话可以这么理解:
  • 同步/异步关注的是水烧开之后需不需要我来处理 。
  • 阻塞/非阻塞关注的是在水烧开的这段时间是不是干了其他事 。
同步阻塞:点火后,傻等,不等到水开坚决不干任何事(阻塞),水开了关火(同步) 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
同步非阻塞:点火后,去看电视(非阻塞),时不时看水开了没有,水开后关火(同步) 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
异步阻塞:按下开关后,傻等水开(阻塞),水开后自动断电(异步) 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
网络编程中不存在的模型 。
异步非阻塞:按下开关后,该干嘛干嘛 (非阻塞),水开后自动断电(异步) 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
内核空间 、用户空间
Redis,Nginx,Netty为什么这么香?

文章插图
 
内核空间 、用户空间如上图:
  • 内核负责网络和文件数据的读写 。
  • 用户程序通过系统调用获得网络和文件的数据 。

Redis,Nginx,Netty为什么这么香?

文章插图
 
内核态、用户态如上图:
程序为读写数据不得不发生系统调用 。
通过系统调用接口,线程从用户态切换到内核态,内核读写数据后,再切换回来 。
进程或线程的不同空间状态 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
线程的切换如上图,用户态和内核态的切换耗时,费资源(内存、CPU) 。
 
优化建议:
  • 更少的切换 。
  • 共享空间 。
套接字:Socket
Redis,Nginx,Netty为什么这么香?

文章插图
 
套接字作用如下:
  • 有了套接字,才可以进行网络编程 。
  • 应用程序通过系统调用 socket(),建立连接,接收和发送数据(I/O) 。
  • Socket 支持了非阻塞,应用程序才能非阻塞调用,支持了异步,应用程序才能异步调用 。
文件描述符:FD 句柄
Redis,Nginx,Netty为什么这么香?

文章插图
 
网络编程都需要知道 FD???FD 是个什么鬼???Linux:万物都是文件,FD 就是文件的引用 。
像不像 JAVA 中万物都是对象?程序中操作的是对象的引用 。Java 中创建对象的个数有内存的限制,同样 FD 的个数也是有限制的 。
Redis,Nginx,Netty为什么这么香?

文章插图
 
Linux 在处理文件和网络连接时,都需要打开和关闭 FD 。
每个进程都会有默认的 FD:
  • 0 标准输入 stdin
  • 1 标准输出 stdout
  • 2 错误输出 stderr
服务端处理网络请求的过程


推荐阅读