降低異構(gòu)系統(tǒng)之間耦合度：消息隊列服務(wù)（MQS）技術(shù)淺析
1 MQS簡介
消息隊列服務(wù)（Message Queue Service，簡稱MQS），是阿里云推出的分布式消息中間件服務(wù)。
MQS旨在提供可靠、海量、高并發(fā)的分布式消息隊列服務(wù)，從而幫助應(yīng)用開發(fā)者實現(xiàn)應(yīng)用之間以及應(yīng)用內(nèi)部各組件之間的消息傳遞，解耦系統(tǒng)之間的依賴。
2 MQS功能特點
消息隊列最早出現(xiàn)在操作系統(tǒng)中，解決了傳統(tǒng)的進(jìn)程通信模式中存在的很多弊端。消息隊列具備的優(yōu)點包括：
（1） 單獨對消息的收、發(fā)進(jìn)行管理，確保消息的成功傳遞。
（2） 提供異步的通信協(xié)議，消息產(chǎn)生者只需要將消息發(fā)送到消息隊列中，即可立刻返回。
（3） 大大降低異構(gòu)系統(tǒng)之間的耦合度。
在大數(shù)據(jù)時代，傳統(tǒng)的消息隊列無法滿足日益增長的消息通信需求，用戶個人搭建消息隊列集群會帶來較大的機(jī)器和運維成本；同時隨著移動端規(guī)模的爆發(fā)式增長，對消息隊列的安全性、可靠性以及可擴(kuò)展性提出了挑戰(zhàn)。阿里云推出的消息隊列服務(wù)（MQS）是基于阿里云飛天云平臺上的消息中間件服務(wù)，相比傳統(tǒng)的消息隊列而言，具備如下特點：
- 零運維、高性能、高可擴(kuò)展。
- 數(shù)據(jù)多冗余架構(gòu)，確保消息的可靠性。
- 在有效期內(nèi)，保證每條消息至少可被消費一次（at-least-once）。
- 允許創(chuàng)建海量的消息隊列。
- API接口簡單易用，對平臺無依賴。
- 不嚴(yán)格保證消息的FIFO屬性。
3 MQS基本架構(gòu)
MQS的基本架構(gòu)如圖1所示。可以分為四部分：
- l OAuth、Authorization驗權(quán)驗證模塊。接入阿里云的賬號驗證體系，用戶需首先在阿里云官網(wǎng)（www.aliyun.com）申請賬號并開通服務(wù)之后方可使用MQS服務(wù)。
- l Http Front模塊。主要負(fù)責(zé)對用戶的HTTP請求進(jìn)行解析、處理，并接入阿里云的驗證驗權(quán)模塊，最終在MQS的后端服務(wù)集群執(zhí)行完請求后將結(jié)果返回給用戶。
- l MQS Master模塊。主要負(fù)責(zé)Message數(shù)據(jù)的切片調(diào)度，實現(xiàn)分布式的load balance。
- l Message Data Server集群。基于阿里云飛天分布式計算平臺的MQS后端服務(wù)集群，是MQS的核心模塊，實現(xiàn)了關(guān)于隊列、消息的所有操作。
圖1 MQS架構(gòu)圖
3.1 數(shù)據(jù)多冗余
如圖1所示，寫入到MQS的所有消息數(shù)據(jù)都會對應(yīng)三份拷貝，從而確保數(shù)據(jù)的高可靠性。
3.2 Qos控制
在Message Data Server層針對每個隊列都設(shè)置有單獨的QoS控制，針對該隊列的訪問請求量不得超過其QoS上限值。
3.3 數(shù)據(jù)多切片分布
隊列的消息數(shù)據(jù)是按照特定的算法進(jìn)行切片分布的，并由MQS Master進(jìn)行集中管理，這不僅有效的實現(xiàn)了load balance，同時還能夠動態(tài)的進(jìn)行集群規(guī)模的彈性擴(kuò)展。
4 MQS隊列中消息存活周期
在具體介紹隊列中消息存活周期之前，首先介紹下MQS涉及到的相關(guān)術(shù)語。
- Active Message（活躍消息）
- 隊列中可以被取出消費的消息。
- Inactive Message（非活躍消息）
- 隊列中已經(jīng)被取出但未刪除的消息，非活躍消息將保持一段時間（隊列的VisibilityTimeout屬性值）無法被其他人取出。
- Expired Message （過期消息）
當(dāng)隊列中的某條消息超過了消息有效時間（TTL）之后仍未被取出，則該消息將變?yōu)檫^期消息，會被后臺GC模塊回收。
在介紹完一些基本術(shù)語之后，圖2中顯示了一條消息的整個生命周期。
在PutMessage之后，消息進(jìn)入到隊列中，即成為能夠被取出的ActiveMessage；（如圖2中A所示）
在消費者取出該條消息之后則轉(zhuǎn)變?yōu)镮nactiveMessage；（如圖2中B所示）
a) 如果在VisibilityTimeout時間段內(nèi)，消費者將該條消息消費完畢，并發(fā)送刪除請求，則該消息將會從隊列中刪除；（如圖2中C所示）
b) 如果消費者未完成消費，則InactiveMessage將會在VisibilityTimeout之后自動轉(zhuǎn)換成ActiveMessage，從而可以再次被取出消費；（如圖2中D所示）
在消息有效時間過后，消息將變?yōu)镋xpiredMessage，從隊列中刪除。（如圖2中E.1和E.2所示）
圖2 隊列中消息的生命周期
5 MQS中多樣的隊列模式
在滿足普通的消息收發(fā)模式的同時，MQS還向用戶提供了多樣的隊列模式，分別包括延遲隊列、長輪詢隊列以及優(yōu)先級隊列等。
5.1 延遲隊列
在延遲隊列中，發(fā)送到隊列中的每一條消息都會保持一段等待時間，在等待時間過后才可以被取出消費。延遲隊列可以幫用戶輕松實現(xiàn)任務(wù)定時分發(fā)等功能。目前延遲隊列支持最大的延遲時間長達(dá)7天。
5.2 長輪詢隊列
由于MQS實現(xiàn)的是基于HTTP協(xié)議的API接口，用戶是通過拉（pull）的方式進(jìn)行消息的獲取，從而可能會出現(xiàn)消息數(shù)據(jù)獲取不及時或者頻繁發(fā)送空取消息的無用請求。MQS通過長輪詢（long polling）的方式確保了用戶能夠在減少無用請求的基礎(chǔ)上，又能及時獲取到消息。
5.3 優(yōu)先級隊列
優(yōu)先級隊列能夠為用戶提供具備消息優(yōu)先級別的隊列。發(fā)送到隊列中的每條消息都會設(shè)置有相應(yīng)的優(yōu)先級別；在進(jìn)行消費時，較高優(yōu)先級別的消息將會先被取出。目前優(yōu)先級隊列暫時無法確保百分百的優(yōu)先級順序。
6 技術(shù)展望
作為消息通訊的中間件服務(wù)，MQS會將服務(wù)的穩(wěn)定性和安全性放在首位，主要工作將包括：
開放賬戶訪問權(quán)限授予的API接口；
增加隊列狀態(tài)監(jiān)控報警機(jī)制；
同時，在功能和性能方面將進(jìn)行更多的嘗試：
長連接功能打開；
后端server采用更高效的異步處理模式；
死信隊列，消息數(shù)據(jù)備份等。
