性能測試之MQTT最大設備連接數
Part 01
MQTT協議
MQTT協議是物聯網平臺的最通用協議之一,也是OneNET平臺的首要設備接入協議。物聯網平臺必須海量設備接入,但MQTT接入服務究竟能同時支持多少設備同時在線呢?了解這個指標能更好地為平臺的運維和運營提供科學的依據。
可是,如何快速簡便地測試最大在線量指標呢?如何選取工具和制作腳本呢?
測試性能我們首先想到的是常用的Jmeter和Locust等性能測試工具。但是這些工具的優勢在測試服務的并發和吞吐量,并不適合當前的測試場景。
然后能想到的是利用第三方Jar包或者三方庫實現的協議庫,采用多線程啟動設備。但是壓力機線程啟動有限,對動則支持幾十萬上百萬設備接入量的服務簡直就是杯水車薪,需要多少壓力機難以估量。
再次能想到的是Select方法批量管理設備的Socket連接。問題又出現了,Select管理的異步IO也是有極限的,此方法最終還是放棄。
Part 02
測試方法
經過前面的分析、實踐最終方法確定,采用異步IO的方式批量模擬設備連接服務器,按照一定的頻率上報注冊報文,不斷遍歷設備Socket接收的緩存數據,解析服務消息來判斷設備是否連接成功,并通過周期性上報心跳來保持設備持續在線。實現細節如下:
(1)實現基礎設備類:封裝部分MQTT協議報文方法,其中包括設備注冊、訂閱、發布、心跳等。
MQTT注冊報文封裝示例(Java)
(2)實現設備類:主要記錄設備注冊狀態、訂閱狀態、保活間隔,最重要的服務消息的解析和響應方法,以及設備連接服務器的非阻塞Socket(Java中的SocketChanel)
服務消息解析代碼示例(Java)
(3)實現程序主體類:管理批量設備,控制設備注冊頻率,設備何時上報數據、監聽服務下發數據,統計設備連接數,持續上報心跳,保持設備在線等。具體實現邏輯如下:
- 批量初始化設備列表;
- 同時啟動一下三個線程;
- 啟動設備注冊線程,初始化設備與服務連接并上行注冊報文,可根據設置,指定當前可同時注冊的設備數,所有設備注冊完成后自動退出;
- 啟動連接統計線程,周期性統計設備連接成功個數、訂閱成功個數、連接失敗設備等數據;
- 啟動設備Socket遍歷線程,持續輪詢每個Socket的接收數據,對接收到的數據處理和響應,每輪遍歷完畢對需要對未長時間未上報心跳的設備上行心跳報文,以達到設備保活的目的。
程序主題類接收線程邏輯代碼片段(Java)
完成程序代碼后,測試工具制作完成。
此工具已實際用于項目性能測試中,可將壓力機全部可用端口用于最大設備在線量的測試中,實際在Linux虛擬機中幾分鐘內完成50000+設備注冊,并保持設備長時間持續在線。
此工具能最大限度利用壓力機端口資源,提升測試執行效率,對于在線量較大的服務,只需要在更多的壓力機上運行此工具即可。