當我們在談論高并發的時候究竟在談什么?

作者：hncg 2019-06-04 14:36:04

開發后端架構

高并發是互聯網分布式系統架構的性能指標之一,它通常是指單位時間內系統能夠同時處理的請求數, 簡單點說，就是QPS(Queries per second)。

什么是高并發?

高并發是互聯網分布式系統架構的性能指標之一,它通常是指單位時間內系統能夠同時處理的請求數,

簡單點說，就是QPS(Queries per second)。

那么我們在談論高并發的時候，究竟在談些什么東西呢？

高并發究竟是什么?

這里先給出結論:

高并發的基本表現為單位時間內系統能夠同時處理的請求數,

高并發的核心是對CPU資源的有效壓榨。

舉個例子，如果我們開發了一個叫做MD5窮舉的應用，每個請求都會攜帶一個md5加密字符串，最終系統窮舉出所有的結果，并返回原始字符串。這個時候我們的應用場景或者說應用業務是屬于CPU密集型而不是IO密集型。這個時候CPU一直在做有效計算，甚至可以把CPU利用率跑滿，這時我們談論高并發并沒有任何意義。(當然，我們可以通過加機器也就是加CPU來提高并發能力,這個是一個正常猿都知道廢話方案，談論加機器沒有什么意義，沒有任何高并發是加機器解決不了，如果有,那說明你加的機器還不夠多!🐶)

對于大多數互聯網應用來說,CPU不是也不應該是系統的瓶頸，系統的大部分時間的狀況都是CPU在等I/O (硬盤/內存/網絡) 的讀/寫操作完成。

這個時候就可能有人會說，我看系統監控的時候，內存和網絡都很正常，但是CPU利用率卻跑滿了這是為什么？

這是一個好問題,后文我會給出實際的例子，再次強調上文說的 '有效壓榨' 這4個字,這4個字會圍繞本文的全部內容！

控制變量法

萬事萬物都是互相聯系的，當我們在談論高并發的時候，系統的每個環節應該都是需要與之相匹配的。我們先來回顧一下一個經典C/S的HTTP請求流程。

如圖中的序號所示:

1 我們會經過DNS服務器的解析，請求到達負載均衡集群

2 負載均衡服務器會根據配置的規則，想請求分攤到服務層。服務層也是我們的業務核心層，這里可能也會有一些PRC、MQ的一些調用等等

3 再經過緩存層

4 最后持久化數據

5 返回數據給客戶端

要達到高并發，我們需要負載均衡、服務層、緩存層、持久層都是高可用、高性能的，甚至在第5步，我們也可以通過壓縮靜態文件、HTTP2推送靜態文件、CDN來做優化，這里的每一層我們都可以寫幾本書來談優化。

本文主要討論服務層這一塊，即圖紅線圈出來的那部分。不再考慮講述數據庫、緩存相關的影響。

高中的知識告訴我們，這個叫控制變量法。

再談并發

網絡編程模型的演變歷史

并發問題一直是服務端編程中的重點和難點問題，為了優系統的并發量，從最初的Fork進程開始，到進程池/線程池,再到epoll事件驅動(Nginx、node.js反人類回調),再到協程。

從上中可以很明顯的看出，整個演變的過程，就是對CPU有效性能壓榨的過程。

什么?不明顯?

那我們再談談上下文切換

在談論上下文切換之前，我們再明確兩個名詞的概念。

并行：兩個事件同一時刻完成。

并發：兩個事件在同一時間段內交替發生,從宏觀上看，兩個事件都發生了。

線程是操作系統調度的最小單位，進程是資源分配的最小單位。由于CPU是串行的,因此對于單核CPU來說,同一時刻一定是只有一個線程在占用CPU資源的。因此，Linux作為一個多任務(進程)系統，會頻繁的發生進程/線程切換。

在每個任務運行前，CPU都需要知道從哪里加載，從哪里運行，這些信息保存在CPU寄存器和操作系統的程序計數器里面，這兩樣東西就叫做 CPU上下文。

進程是由內核來管理和調度的，進程的切換只能發生在內核態，因此虛擬內存、棧、全局變量等用戶空間的資源，以及內核堆棧、寄存器等內核空間的狀態,就叫做進程上下文。

前面說過,線程是操作系統調度的最小單位。同時線程會共享父進程的虛擬內存和全局變量等資源，因此父進程的資源加上線上自己的私有數據就叫做線程的上下文。

對于線程的上下文切換來說，如果是同一進程的線程，因為有資源共享，所以會比多進程間的切換消耗更少的資源。

現在就更容易解釋了，進程和線程的切換，會產生CPU上下文切換和進程/線程上下文的切換。而這些上下文切換,都是會消耗額外的CPU的資源的。

進一步談談協程的上下文切換

那么協程就不需要上下文切換了嗎？需要，但是不會產生 CPU上下文切換和進程/線程上下文的切換,因為這些切換都是在同一個線程中，即用戶態中的切換，你甚至可以簡單的理解為，協程上下文之間的切換，就是移動了一下你程序里面的指針，CPU資源依舊屬于當前線程。

需要深刻理解的，可以再深入看看Go的GMP模型。

最終的效果就是協程進一步壓榨了CPU的有效利用率。

回到開始的那個問題

這個時候就可能有人會說，我看系統監控的時候，內存和網絡都很正常，但是CPU利用率卻跑滿了這是為什么？

注意本篇文章在談到CPU利用率的時候，一定會加上有效兩字作為定語，CPU利用率跑滿，很多時候其實是做了很多低效的計算。

以"世界上最好的語言"為例，典型PHP-FPM的CGI模式，每一個HTTP請求:

都會讀取框架的數百個php文件，

都會重新建立/釋放一遍MYSQL/REIDS/MQ連接，

都會重新動態解釋編譯執行PHP文件，

都會在不同的php-fpm進程直接不停的切換切換再切換。

php的這種CGI運行模式，根本上就決定了它在高并發上的災難性表現。

找到問題，往往比解決問題更難。當我們理解了當我們在談論高并發究竟在談什么之后,我們會發現高并發和高性能并不是編程語言限制了你，限制你的只是你的思想。

找到問題,解決問題！當我們能有效壓榨CPU性能之后,能達到什么樣的效果?

下面我們看看 php+swoole的HTTP服務與 Java高性能的異步框架netty的HTTP服務之間的性能差異對比。

性能對比前的準備

swoole是什么

Swoole是一個為PHP用C和C++編寫的基于事件的高性能異步&協程并行網絡通信引擎

Netty是什么

Netty是由JBOSS提供的一個java開源框架。 Netty提供異步的、事件驅動的網絡應用程序框架和工具，用以快速開發高性能、高可靠性的網絡服務器和客戶端程序。

單機能夠達到的最大HTTP連接數是多少？

回憶一下計算機網絡的相關知識，HTTP協議是應用層協議，在傳輸層，每個TCP連接建立之前都會進行三次握手。

每個TCP連接由本地ip,本地端口,遠端ip,遠端端口,四個屬性標識。

TCP協議報文頭如下(圖片來自維基百科)：

本地端口由16位組成,因此本地端口的最多數量為 2^16 = 65535個。

遠端端口由16位組成,因此遠端端口的最多數量為 2^16 = 65535個。

同時，在linux底層的網絡編程模型中，每個TCP連接，操作系統都會維護一個File descriptor(fd)文件來與之對應，而fd的數量限制，可以由ulimt -n 命令查看和修改，測試之前我們可以執行命令: ulimit -n 65536修改這個限制為65535。

因此，在不考慮硬件資源限制的情況下，

本地的最大HTTP連接數為：本地最大端口數65535 * 本地ip數1 = 65535 個。

遠端的最大HTTP連接數為：遠端最大端口數65535 * 遠端(客戶端)ip數+∞ = 無限制~~ 。

PS: 實際上操作系統會有一些保留端口占用,因此本地的連接數實際也是達不到理論值的。

性能對比

測試資源

各一臺docker容器,1G內存+2核CPU,如圖所示:

docker-compose編排如下:

# java8  
version: "2.2"  
services:  
  java8:  
    container_name: "java8"  
    hostname: "java8"  
    image: "java:8"  
    volumes:  
      - /home/cg/MyApp:/MyApp 
     ports:  
      - "5555:8080"  
    environment:  
      - TZ=Asia/Shanghai  
    working_dir: /MyApp  
    cpus: 2  
    cpuset: 0,1  
    mem_limit: 1024m  
    memswap_limit: 1024m  
    mem_reservation: 1024m  
    tty: true  
# php7-sw  
version: "2.2"  
services:  
  php7-sw:  
    container_name: "php7-sw"  
    hostname: "php7-sw"  
    image: "mileschou/swoole:7.1"  
    volumes:  
      - /home/cg/MyApp:/MyApp  
    ports:  
      - "5551:8080"  
    environment:  
      - TZ=Asia/Shanghai  
    working_dir: /MyApp  
    cpus: 2  
    cpuset: 0,1  
    mem_limit: 1024m  
    memswap_limit: 1024m  
    mem_reservation: 1024m  
    tty: true

php代碼

<?php  
use Swoole\Server;  
use Swoole\Http\Response;  
$http = new swoole_http_server("0.0.0.0", 8080);  
$http->set([  
    'worker_num' => 2  
]);  
$http->on("request", function ($request, Response $response) {  
    //go(function () use ($response) {  
        // Swoole\Coroutine::sleep(0.01);  
        $response->end('Hello World');  
    //});  
});  
$http->on("start", function (Server $server) {  
    go(function () use ($server) {  
        echo "server listen on 0.0.0.0:8080 \n";  
    });  
});  
$http->start();

Java關鍵代碼

源代碼來自, https://github.com/netty/netty

public static void main(String[] args) throws Exception {  
       // Configure SSL.  
       final SslContext sslCtx;  
       if (SSL) {  
           SelfSignedCertificate ssc = new SelfSignedCertificate();  
           sslCtx = SslContextBuilder.forServer(ssc.certificate(), ssc.privateKey()).build();  
       } else {  
           sslCtx = null;  
       }  
       // Configure the server.  
       EventLoopGroup bossGroup = new NioEventLoopGroup(2);  
       EventLoopGroup workerGroup = new NioEventLoopGroup();  
       try {  
           ServerBootstrap b = new ServerBootstrap();  
           b.option(ChannelOption.SO_BACKLOG, 1024);  
           b.group(bossGroup, workerGroup)  
            .channel(NioServerSocketChannel.class)  
            .handler(new LoggingHandler(LogLevel.INFO))  
            .childHandler(new HttpHelloWorldServerInitializer(sslCtx));  
           Channel ch = b.bind(PORT).sync().channel();  
           System.err.println("Open your web browser and navigate to " +  
                   (SSL? "https" : "http") + "://127.0.0.1:" + PORT + '/');  
           ch.closeFuture().sync();  
       } finally {  
           bossGroup.shutdownGracefully();  
           workerGroup.shutdownGracefully();  
       }  
   }