如何模擬一次阿里雙11秒殺場景的實現(xiàn)？程序員必看

作者：IT技術管理那些事兒 2019-11-14 09:32:16

數(shù)據(jù)庫 MySQL

秒殺活動可以說在互聯(lián)網上隨處可見，從12306搶票，到聚劃算搶購，我們生活的方方面面都可以看到秒殺的身影。

[[282284]]

秒殺的架構設計也是對于一個架構師架構設計能力的一次考驗。本文的目的并不在于提供一個可以直接落地的設計方案，而是意在提供一個簡單的方法，一個思路，使大家能夠對于秒殺背后的一些設計有更感性的認識, 并且可以自己親自動手實踐一下。

所有的配置及源碼都在本文最后的GitHub repository中可以找到。

首先，先簡單介紹下本文中會涉及到的一些組件，如下圖所示：

JMeter：用JMeter來模擬秒殺活動中大量并發(fā)的用戶請求

Seckill Service：基于Nodejs使用Express實現(xiàn)的秒殺service，圖中的步驟2，3，4都是在這個service中處理的

Redis：一個Redis的docker container，在其中保存一個名為counter的數(shù)據(jù)來表示當前剩余的庫存大小

Kafka: 一個Kafka的docker container，其實這里還有一個zookeeper的docker container，Kafka用zookeeper來存放一些元數(shù)據(jù)，在程序中并沒有涉及到，所以也就不單獨列出來說了。Seckill service在更新完Redis之后，會發(fā)送一條消息給Kafka表示一次成功的秒殺

Seckill Kafka Consumer: 基于Nodejs的Kafka consumer，會從Kafka中去獲取秒殺成功的消息，處理并且存儲到MySQL中

MySQL：一個MySQL的docker container，最終秒殺成功的請求都會對應著數(shù)據(jù)庫表中的一條記錄

環(huán)境搭建

1 . 安裝JMeter

從官網下載一個JMeter的binary包，執(zhí)行bin目錄下的jmeter即可啟動，啟動后如下圖新建一個名為Seckill的Thread Group，并且設置在5s內發(fā)起2000次并發(fā)請求。

在這個Thread Group下新建一個Http Request的Sampler并命名為Seckill，按下圖配置host name，port number，http request method以及request path

2 . 安裝Redis，Kafka, Zookeeper和MySQL

為了方便搭建環(huán)境，這幾個組件會以docker container的形式啟動。在此之前需要去Docker官網下載并安裝Docker Engine，Docker Machine和Docker Compose。如果是在Windows或者Mac上，Docker官網提供Docker For Windows/Docker For Mac安裝程序，可以很方便的把這3個組件安裝好。

3 . 編寫Docker Compose文件

創(chuàng)建一個Seckill項目文件夾，新建一個docker-compose.yml文件，內容如下：

配置文件中一共配置了4個services對應4個docker container，分別是zookeeper，kafka，redis以及mysql。這里有兩個地方需要設置成你實際環(huán)境的值，一個是kafka配置下面的KAFKA_ADVERTISED_HOST_NAME字段，這個需要設置成本地機器的IP。另一個是MYSQL配置下面的MYSQL_ROOT_PASSWORD，你可以設置成你想要的任何值。

創(chuàng)建好這個文件之后，就可以去命令行項目根目錄中執(zhí)行docker-compose up，docker engine就會把上面配置的這4個組件全部啟動起來。

注意：在啟動完之后，需要去Kafka容器中創(chuàng)建一個名為CAR_NUMBER的topic，去Redis容器中創(chuàng)建一個名為counter的計數(shù)器(設置值為100，代表庫存初始值為100)，去MySQL容器中創(chuàng)建一個名為seckill的數(shù)據(jù)表(包含一個自增長的id自段和一個timestamp格式的date字段)。

代碼片段

1 . Seckill Service

第1-8行，引入了程序需要用到的對象，nodejs的mvc框架express, redis, kafka等
第10行，利用express提供的方法暴露出一個path為/seckill的POST方法
第12行，定義了一個方法，在54行會調用
第13-22行，新建了一個redis client并且監(jiān)聽error事件
第23行，這行代碼非常關鍵，它的作用是讓redis cilent監(jiān)視redis中的counter值，之后會啟動一個事務，如果在事務提交的時候發(fā)現(xiàn)有其它client修改了counter值的話，就會放棄這個事務。
第24行，通過redis client的異步方法獲取counter的值，因為redis的get操作是原子的，所以在這里不用擔心有并發(fā)讀寫的問題。
第25-28行，判斷返回的庫存值是否大于0，如果大于0，通過client.multi()啟動一個事務，通過decr()方法將counter值減1，最后通過exec()方法提交事務;如果小于0，則執(zhí)行第47行，打印賣完了并且關閉redis client。
第29-46行，這里我們看一下multi.exec()中的這個回調方法。在前面我們已經使用watch對counter進行了監(jiān)視。如果在事務提交過程中有其它client修改了counter值的話，回調方法中的replies參數(shù)就會是null，可以看到第29-31行，程序會打印“可能有沖突”并且再次調用fn方法重試。

如果replies的值不為null，就會使用kafka的producer發(fā)送一條message到CAR_NUMBER topic。

2 . seckill_kafka_consumer