互联网架构“高并发”到底怎么玩?

什么是高并发?
高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求 。
高并发相关的常见指标有哪些?

  • 响应时间(Response Time)
  • 吞吐量(Throughput)
  • 每秒查询率QPS(Query Per Second)
  • 并发用户数
 
什么是响应时间?
系统对请求做出响应的时间 。
例如:系统处理一个HTTP请求需要200ms,这个200ms就是系统的响应时间 。
什么是吞吐量?
单位时间内处理的请求数量 。
什么是QPS?
每秒响应请求数 。在互联网领域,这个指标和吞吐量区分的没有这么明显 。
什么是并发用户数?
同时承载正常使用系统功能的用户数量 。
例如:一个即时通讯系统,同时在线量一定程度上代表了系统的并发用户数 。
 
如何提升系统的并发能力?
互联网分布式架构设计,提高系统并发能力的方式,方法论上主要有两种:
  • 垂直扩展(Scale Up)
  • 水平扩展(Scale Out)
 
什么是垂直扩展?
垂直扩展是指,提升单机处理能力,垂直扩展的方式又有两种:
(1)增强单机硬件性能,例如:增加CPU核数如32核,升级更好的网卡如万兆,升级更好的硬盘如SSD,扩充硬盘容量如2T,扩充系统内存如128G;
(2)提升单机架构性能,例如:使用Cache来减少IO次数,使用异步来增加单服务吞吐量,使用无锁数据结构来减少响应时间;


    推荐阅读