F-22戰(zhàn)斗機(jī)是第五代隱身戰(zhàn)斗機(jī)，其各項(xiàng)能力是世界公認(rèn)的名列前茅，能夠“Control the Sky”。F-22的綽號(hào)為“Raptor”，譯為“猛禽”。而這正是美團(tuán)可觀測(cè)性平臺(tái)Raptor名稱(chēng)的由來(lái)。

Raptor作為美團(tuán)的可觀測(cè)性平臺(tái)，融合了前端監(jiān)控、基礎(chǔ)設(shè)施監(jiān)控、應(yīng)用層監(jiān)控，同時(shí)也給業(yè)務(wù)提供指標(biāo)、鏈路、部分日志監(jiān)控能力，并提供豐富大盤(pán)報(bào)表及實(shí)施告警功能。

在WOT全球技術(shù)創(chuàng)新大會(huì)2023·北京站的《可觀測(cè)性技術(shù)與實(shí)踐》專(zhuān)場(chǎng)中，來(lái)自美團(tuán)的技術(shù)專(zhuān)家任天帶來(lái)了主題為《美團(tuán)可觀測(cè)性平臺(tái)：Raptor建設(shè)與實(shí)踐》的精彩分享，詳細(xì)介紹了Raptor的“飛天”建設(shè)之路。

如何“Control the Sky”？

如何在互聯(lián)網(wǎng)中監(jiān)控一切？什么樣的架構(gòu)設(shè)計(jì)才能滿(mǎn)足可觀測(cè)性平臺(tái)的需求？美團(tuán)首先從可觀測(cè)性平臺(tái)的特點(diǎn)和業(yè)務(wù)使用方式入手，總結(jié)出“全、快、準(zhǔn)、穩(wěn)”四個(gè)特點(diǎn)，根據(jù)特點(diǎn)將整體的可觀測(cè)性平臺(tái)分為橫向和縱向，通過(guò)分層設(shè)計(jì)和監(jiān)控能力建設(shè)，從而搭建出美團(tuán)可觀測(cè)性平臺(tái)Raptor。

可觀測(cè)性平臺(tái)的橫向分類(lèi)是基于業(yè)務(wù)流量訪問(wèn)圖，因此美團(tuán)從橫向進(jìn)行產(chǎn)品分類(lèi)時(shí)將Raptor分為三層：監(jiān)控移動(dòng)端APP、瀏覽器、H5小程序以及其他容器的大前端監(jiān)控，面向?qū)嶋H后端業(yè)務(wù)開(kāi)發(fā)的應(yīng)用層監(jiān)控，以及面向基礎(chǔ)設(shè)施監(jiān)控的系統(tǒng)層。

縱向分類(lèi)是從可觀測(cè)性平臺(tái)監(jiān)控的角度出發(fā)，分為指標(biāo)、鏈路和日志。基于此，美團(tuán)為Raptor構(gòu)建了以指標(biāo)為主的監(jiān)控體系架構(gòu)，通過(guò)指標(biāo)體系監(jiān)控對(duì)象的運(yùn)行狀態(tài)；而日志和鏈路更側(cè)重于異常分析或者個(gè)案分析。

在Raptor的前端領(lǐng)域中，監(jiān)控指標(biāo)分為請(qǐng)求類(lèi)指標(biāo)和自定義指標(biāo)；應(yīng)用層則拆分成Transaction、Event、Problem和Business四類(lèi)指標(biāo)。這些指標(biāo)可以進(jìn)行串聯(lián)，比如將Transaction、Event和Problem串聯(lián)，從而構(gòu)成整個(gè)進(jìn)程內(nèi)的鏈路監(jiān)控。除此之外，還有面向主機(jī)側(cè)監(jiān)控的系統(tǒng)層、面向K8s集群內(nèi)監(jiān)控的Mps和美團(tuán)自建的進(jìn)程間鏈路的監(jiān)控系統(tǒng)Mtracer。

而無(wú)論是橫向還是縱向分類(lèi)，Raptor都是基于全方位、可擴(kuò)展和高可用的設(shè)計(jì)原則。若想滿(mǎn)足這些原則，分層設(shè)計(jì)是最好的選擇。因?yàn)榉謱釉O(shè)計(jì)的可觀測(cè)性平臺(tái)擴(kuò)展性強(qiáng)、各端領(lǐng)域的監(jiān)控邏輯相對(duì)統(tǒng)一，并且告警、降采樣等技術(shù)能力可以得到重用。因此Raptor分為采集層、接入層、存儲(chǔ)層、分析層和應(yīng)用層，每層根據(jù)應(yīng)用的特點(diǎn)進(jìn)行獨(dú)立設(shè)計(jì)。

為Raptor建設(shè)“飛天”之路

整體介紹完Raptor的設(shè)計(jì)后，任天著重介紹了Raptor的建設(shè)實(shí)踐之路，以及Raptor如何“飛”上天空。

首先第一個(gè)建設(shè)是應(yīng)用層監(jiān)控——開(kāi)源版Cat。Cat基于流式的處理流程，實(shí)時(shí)性很強(qiáng)；其監(jiān)控類(lèi)型也非常豐富，能夠基本覆蓋用戶(hù)所有的需求。同時(shí)，美團(tuán)對(duì)可觀測(cè)性平臺(tái)的推廣覆蓋度較全，對(duì)PaaS或中間件都制定了較為嚴(yán)格的埋點(diǎn)規(guī)范。基于以上特點(diǎn)，Cat能夠生成更加豐富的報(bào)表類(lèi)型。

應(yīng)用層Cat功能雖強(qiáng)大，但由于Cat是侵入式埋點(diǎn)，所以也會(huì)侵入到業(yè)務(wù)進(jìn)程中。因此，需要在保證高可用狀態(tài)的同時(shí)，避免影響業(yè)務(wù)的核心流程。SDK的設(shè)計(jì)就尤為重要。

美團(tuán)的SDK設(shè)計(jì)是通過(guò)內(nèi)存隊(duì)列和整個(gè)處理邏輯進(jìn)行解耦。當(dāng)消息通過(guò)埋點(diǎn)API構(gòu)建時(shí)，會(huì)進(jìn)行消息采樣。被采樣到的消息進(jìn)入內(nèi)存隊(duì)列中，后續(xù)的Sender線程能夠發(fā)送數(shù)據(jù)；沒(méi)被采樣到的指標(biāo)也會(huì)保留，并在本地預(yù)聚合。這種設(shè)計(jì)能夠避免因采樣失誤導(dǎo)致的指標(biāo)數(shù)據(jù)不全、不準(zhǔn)。

此外， SDK層還能高效上報(bào)協(xié)議，并且處理邏輯與業(yè)務(wù)核心線程是獨(dú)立的，保證在出現(xiàn)問(wèn)題時(shí)業(yè)務(wù)也能正常運(yùn)轉(zhuǎn)。

Cat和SDK的建設(shè)使后端服務(wù)有了監(jiān)控能力，但這樣就能滿(mǎn)足業(yè)務(wù)的可觀測(cè)性訴求了嗎？答案必然是“否”。

如果后端服務(wù)正常，中間網(wǎng)絡(luò)出現(xiàn)問(wèn)題，用戶(hù)同樣無(wú)法正常使用。因此還需要建設(shè)大前端領(lǐng)域的監(jiān)控，從用戶(hù)端視角觀測(cè)端到端的鏈路。

大前端的監(jiān)控處理數(shù)據(jù)流程相對(duì)簡(jiǎn)單。首先在APP、Web、小程序中嵌入內(nèi)置的SDK采集接口性能。數(shù)據(jù)到處理層后，處理層會(huì)統(tǒng)計(jì)每個(gè)接口的成功率、響應(yīng)時(shí)間以及APP或小程序的性能和開(kāi)銷(xiāo)。如果有錯(cuò)誤日志則會(huì)采集錯(cuò)誤日志。此外，在RN動(dòng)態(tài)容器中也會(huì)存在一些自定義監(jiān)控。

那么現(xiàn)在已經(jīng)具備了大前端和后端服務(wù)的監(jiān)控能力，應(yīng)該可以滿(mǎn)足開(kāi)發(fā)人員的訴求了吧？答案依舊是“否”。因?yàn)楹蠖朔?wù)在基礎(chǔ)設(shè)施中運(yùn)行，所以還要監(jiān)控設(shè)施。

美團(tuán)建設(shè)了針對(duì)基礎(chǔ)設(shè)施的系統(tǒng)層監(jiān)控，也稱(chēng)之為Hosts監(jiān)控。在Hosts監(jiān)控的流程中，第一步是Agent進(jìn)程采集本容器中的基礎(chǔ)指標(biāo)，同時(shí)對(duì)每個(gè)進(jìn)程提供監(jiān)控能力。在進(jìn)程內(nèi)可以通過(guò)開(kāi)放接口調(diào)用Agent監(jiān)控線程池隊(duì)列；Pass組件則可以監(jiān)控接口連接、流量等。所以相較于應(yīng)用層，系統(tǒng)層是從進(jìn)程外的視角監(jiān)控整個(gè)狀態(tài)。

對(duì)于K8s集群的使用人群，美團(tuán)還建設(shè)了MPS，能夠提供K8s集群視角的監(jiān)控能力。

當(dāng)這些層次都建設(shè)完畢后，Raptor的監(jiān)控功能已經(jīng)相對(duì)完善，但監(jiān)控指標(biāo)散落在各個(gè)領(lǐng)域，查看起來(lái)非常不方便。所以美團(tuán)建設(shè)了大盤(pán)領(lǐng)域。

大盤(pán)領(lǐng)域提供數(shù)據(jù)匯總的能力，通過(guò)配置可以將各個(gè)領(lǐng)域的監(jiān)控?cái)?shù)據(jù)整合在一張圖中，展示的圖表類(lèi)型也非常豐富。還可以關(guān)聯(lián)告警，在機(jī)房故障或大促時(shí)配置大盤(pán)值守，從而判斷服務(wù)是否正常。在運(yùn)維方面，也可以配置運(yùn)維大盤(pán)進(jìn)行觀測(cè)。

加上大盤(pán)領(lǐng)域后，Raptor基本覆蓋了美團(tuán)的業(yè)務(wù)場(chǎng)景，能夠一站式解決可觀測(cè)性訴求。

但可觀測(cè)性團(tuán)隊(duì)沒(méi)有止步于此。為了更加完善Raptor，團(tuán)隊(duì)在實(shí)際業(yè)務(wù)中尋找用戶(hù)痛點(diǎn)，提取其中共性并進(jìn)行改善。

團(tuán)隊(duì)總結(jié)出解決痛點(diǎn)的四個(gè)關(guān)鍵詞：復(fù)用、升級(jí)、新建和開(kāi)放，隨后進(jìn)行完善建設(shè)。

完善Raptor的第一個(gè)建設(shè)是對(duì)存儲(chǔ)進(jìn)行分級(jí)，也就是冷熱分離。同時(shí)對(duì)數(shù)據(jù)進(jìn)行降采樣，保證存儲(chǔ)舊數(shù)據(jù)時(shí)存儲(chǔ)力度足夠粗。另外在設(shè)計(jì)過(guò)程中，由于每個(gè)領(lǐng)域的監(jiān)控訴求不一樣，所以存儲(chǔ)設(shè)計(jì)也不一樣。

第二個(gè)建設(shè)是針對(duì)降低時(shí)延設(shè)計(jì)的架構(gòu)。當(dāng)用戶(hù)Client將可觀測(cè)數(shù)據(jù)上報(bào)到接入層后，查詢(xún)層查詢(xún)存儲(chǔ)設(shè)備的同時(shí)，也能直接在接入層的內(nèi)存查詢(xún)，從而保證數(shù)據(jù)上報(bào)后立即展示，整個(gè)時(shí)延在秒級(jí)以?xún)?nèi)。除此之外還有容災(zāi)和隔離性的建設(shè)。

Raptor的“實(shí)戰(zhàn)”表現(xiàn)

綜合以上Raptor的所有建設(shè)和能力，可以說(shuō)Raptor從宏觀的觀測(cè)角度到具體細(xì)節(jié)共分為五個(gè)層次：大盤(pán)、端到端、應(yīng)用層、系統(tǒng)層和鏈路。這五個(gè)觀測(cè)領(lǐng)域能夠滿(mǎn)足不同觀測(cè)員、不同階段的觀測(cè)需求。當(dāng)遇到問(wèn)題時(shí)，觀測(cè)員可以逐級(jí)向下使用。

這種觀測(cè)鏈路在實(shí)際應(yīng)用中有什么優(yōu)勢(shì)？當(dāng)觀測(cè)員檢查公司Hbase服務(wù)的可用率時(shí)，不僅可以看到整體的可用率，輸入具體集群名稱(chēng)還可以查看具體集群的可用率。從宏觀到微觀都可以進(jìn)行觀測(cè)。

另一個(gè)實(shí)際案例是故障排查。當(dāng)觀測(cè)員收到Hbase可用率告警時(shí)，排查思路首先是使用Hbase客戶(hù)端檢查Client服務(wù)是否有網(wǎng)絡(luò)故障或使用參數(shù)不符合預(yù)期，從Client視角排查報(bào)錯(cuò)的監(jiān)控指標(biāo)。確認(rèn)Client正常后，再排查Hbase集群服務(wù)指標(biāo)是否正常。這種方式可以監(jiān)控整個(gè)鏈路，無(wú)論是Client還是Hbase導(dǎo)致的問(wèn)題都能被排查。

這種故障排查方式應(yīng)對(duì)的是后端問(wèn)題，偏重后端服務(wù)。而端上的故障排查則在大前端領(lǐng)域進(jìn)行。當(dāng)發(fā)現(xiàn)某URL成功率下降，可以觀測(cè)該URL對(duì)應(yīng)的具體后端服務(wù)指標(biāo)是否正常。如果后端服務(wù)指標(biāo)正常，則可以基本確定是中間網(wǎng)絡(luò)層出現(xiàn)問(wèn)題。這種排查方式可以將自身服務(wù)、端上服務(wù)和中間網(wǎng)絡(luò)層服務(wù)全部納入。

在未來(lái)，Raptor會(huì)“飛”得更高更遠(yuǎn)

若想飛得更高更遠(yuǎn)，則需要克服面臨的困難并規(guī)劃好未來(lái)路線。在分享的最后，任天談到了Raptor面臨的挑戰(zhàn)和未來(lái)規(guī)劃。

第一個(gè)挑戰(zhàn)是容災(zāi)。在容災(zāi)過(guò)程中，不僅需要保障自身機(jī)房容災(zāi)性，還要保障外部依賴(lài)的機(jī)房容災(zāi)性，從而確保可觀測(cè)性平臺(tái)的可用性和穩(wěn)定性。所以在未來(lái)需要減少外部依賴(lài)并提高全鏈路容災(zāi)降級(jí)能力。

第二個(gè)挑戰(zhàn)是建設(shè)拓?fù)滏溌贰，F(xiàn)在美團(tuán)大部分的服務(wù)都是微服務(wù)，微服務(wù)及其接口的調(diào)用量巨大，關(guān)系復(fù)雜，所以需要進(jìn)行梳理。針對(duì)這一挑戰(zhàn)，未來(lái)需要重點(diǎn)建設(shè)全量拓?fù)滏溌泛图夹g(shù)運(yùn)營(yíng)，包括分析根因定位及上下游鏈路。

除此之外，任天還提及到了其他的三點(diǎn)規(guī)劃。第一點(diǎn)是精細(xì)化可觀測(cè)性，從分鐘力度到秒級(jí)力度，甚至到亞秒級(jí)力度，以及擴(kuò)展維度。

各個(gè)系統(tǒng)也有規(guī)劃，比如將指標(biāo)、鏈路和日志進(jìn)一步深度融合，從而更好地定位故障；還有將監(jiān)控系統(tǒng)與企業(yè)內(nèi)部系統(tǒng)、運(yùn)營(yíng)系統(tǒng)打通。

最后是運(yùn)營(yíng)規(guī)劃。可觀測(cè)性系統(tǒng)不僅用來(lái)觀測(cè)，未來(lái)也會(huì)用于運(yùn)營(yíng)，比如運(yùn)營(yíng)人員分析訂單量從而運(yùn)營(yíng)業(yè)務(wù)指標(biāo)。

在未來(lái)，期待Raptor“飛”得更高更遠(yuǎn)！以上內(nèi)容整理自美團(tuán)技術(shù)專(zhuān)家任天在WOT全球技術(shù)創(chuàng)新大會(huì)2023·北京站《可觀測(cè)性技術(shù)與實(shí)踐》專(zhuān)場(chǎng)中的精彩分享。獲取完整PPT請(qǐng)關(guān)注51CTO技術(shù)棧公眾號(hào)，后臺(tái)發(fā)送【W(wǎng)OT2023PPT】即可直接領(lǐng)取。