智能體也要有“規(guī)范手冊”！

一項名為MetaGPT的研究，通過對智能體角色進行明確分工，并要求多個智能體在協作中采用統一規(guī)范的“交流格式”等方法，讓智能體性能大增。

目前，這項研究在GitHub上已狂攬33.6k星，并在深度學習頂會ICLR 2024上被收錄為Oral論文。

總的來說，MetaGPT是模仿人類的分工協作方式，將各種任務的標準操作流程編碼為智能體的“規(guī)范手冊”，不同角色的智能體負責不同的專業(yè)任務。

比如產品經理角色可以使用網絡搜索工具，而工程師角色可以執(zhí)行代碼：

由此多智能體協作完成任務。

研究人員甚至還為智能體們設置了一個“消息共享群”，不同角色的智能體可以在“群”里自由查看和自我任務相關的其他智能體發(fā)送來的消息。

經測試，使用這種方法，在代碼補全任務的公開數據集HumanEval和MBPP上，MetaGPT分別取得了85.9%和87.7%的新SOTA。

目前這項工作已開源，在全網受到不少網友關注：

MetaGPT長啥樣？

這項研究由DeepWisdom團隊聯合KAUST AI中心、廈門大學、CUHK（SZ）、南京大學、UPenn以及UCB等眾多高校機構的學者共同提出。

隨著大模型能力的不斷提升，基于大模型的智能體來解決各種任務在學術界和工業(yè)界的興趣日益增長。

值得注意的是，對于采用多個智能體協作解決特定領域問題的研究仍處于早期階段。現有研究主要集中在通過角色扮演機制和通信拓撲設定來增強任務理解和推理決策能力。盡管取得了一定進展，但這些方法仍然依賴于直接的對話形式，缺乏對智能體行為的標準規(guī)范和約束。

近期的一些工作也指出，基于對話形式的多智能體系統可能面臨信息不一致、歧義以及可能的無效重復和無限循環(huán)等問題。

相較之下，人類工作流程中的標準操作流程（SOPs）不僅明確定義了參與角色的分工和拓撲結構，還建立了角色產出結果的標準規(guī)范。

研究表明，明確定義的SOPs可以提高任務執(zhí)行的一致性和準確性，確保最終結果符合規(guī)定的質量標準。因此，為解決多智能體協作中的挑戰(zhàn)，研究人員設計了基于大模型的智能體元編程框架MetaGPT。

MetaGPT要求智能體以專家形式參與協作，并按要求生成結構化的輸出，例如高質量的需求文檔、架構設計圖和流程圖等。

結構化的輸出對于單個智能體即是更高層次的思維鏈（Chain-of-Thought），對于下游角色則是語義清晰、目標明確的上下文（Context）。

在MetaGPT的框架中，研究人員將SOPs的概念對齊至角色專業(yè)化、通信協議設計以及迭代式的可執(zhí)行反饋設計。

角色專業(yè)化

通過明確定義的角色分工，復雜的工作得以分解為更小、更具體的任務。

如下圖所示，不同專業(yè)的角色，初始化為不同的目標和約束，以及不同的專業(yè)技能。如產品經理角色可以使用網絡搜索工具，而工程師角色可以執(zhí)行代碼。與此同時，每個角色都默認遵循ReAct的行為模式。

角色專業(yè)化使得每個智能體能夠專注于其領域內的具體任務，從而提升了大模型的輸出質量。

對于軟件開發(fā)而言，通過角色的流轉，這種分工更巧妙地完成了從自然語言到編程語言的對齊。論文中的角色消融實驗進一步證明了這一部分的效果。

通信協議設計

在實際應用中，自然語言雖然具備語義的豐富性，但由于其非結構化的特性，在消息傳遞過程中常常會導致信息的歪曲甚至重要內容的丟失。

為解決這一問題，作者約束智能體以結構化的輸出（包括文檔和圖表）參與協作，來提高信息的清晰度和完整性。為驗證這一設計，作者設計了多種軟件開發(fā)任務，通過生成代碼的可執(zhí)行性以及生產力指標強調結構化輸出在協作中的關鍵性。

在多智能體協作過程中，為提高通信效率，MetaGPT引入了基于消息共享的發(fā)布-訂閱機制（Publish-Subscribe Mechanism）。

如上圖所示，共享消息池允許直接交換消息，任何智能體都可以透明地訪問來自其他智能體的消息，無需詢問并等待響應。訂閱機制使智能體更傾向于接收與自我任務相關的信息，避免分心于不相關的細節(jié)。同時，每個智能體可直接從共享消息池中檢索所需信息，形成自我記憶。

可執(zhí)行反饋

智能體根據環(huán)境反饋進行自我優(yōu)化和主動更新，是智能體具備自主意識的表現。

在軟件開發(fā)任務上，MetaGPT為工程師的智能體設計了可執(zhí)行反饋機制，以進行代碼質量自動優(yōu)化。

具體而言，工程師編寫并執(zhí)行相應的單元測試用例，通過觀察到的執(zhí)行結果，遞歸地進行決策和自我提示，實現自動debug。這種設計-測試-反饋的迭代過程持續(xù)進行，直到單元測試通過或達到最大重試次數。

多個基準測試新SOTA

在代碼生成能力上，研究人員采用了兩個公開基準數據集：HumanEval和MBPP，并報告Pass@1指標。

另外，他們還收集了涵蓋70個典型軟件開發(fā)任務（如迷你游戲、數據可視化、圖像處理等）的數據集SoftwareDev，并進行了多個智能體開源框架的對比，對多個軟件開發(fā)任務的可執(zhí)行性和生產效率上進行了統計分析和定性說明。

如下圖所示，MetaGPT在HumanEval和MBPP基準測試中均優(yōu)于之前的方法，分別達到了85.9%和87.7%。相比于GPT-4的結果，MetaGPT在HumanEval數據集上相對提升了28.2%，而加入可執(zhí)行反饋機制分別在HumanEval和MBPP上提升了4.2%和5.4%。

在具有挑戰(zhàn)性的SoftwareDev數據集上，MetaGPT在可執(zhí)行性上的得分為3.75，非常接近4，而所需的運行時間較短(503秒)；生成的代碼行數相對基線框架增加了2.24倍，而單位代碼行數所消耗的token數下降了50%。

這些結果突顯了多智能體協作過程中SOPs帶來的效率提升。

MetaGPT在軟件開發(fā)任務中的高可執(zhí)行性和相對較短的運行時間表明了其在實際應用中的實用性和效率。

聚焦在軟件開發(fā)領域，研究人員提供了不同智能體框架能力的定性對比。

他們發(fā)現，MetaGPT不僅具備多種模態(tài)的文件生成能力，也是目前眾多框架中唯一完整覆蓋了真實世界中軟件開發(fā)過程的開源框架。

總的來說，MetaGPT是一個新穎的多智能體框架，結合元編程思想，嵌入SOPs來增強大模型在多智能體協作上的能力。

通過角色專業(yè)化，工作流管理和靈活的消息機制，使其成為通用性和可移植性高的多智能體框架。

結合迭代式的反饋機制，MetaGPT在多個基準測試上取得SOTA性能。

結合人類社會實踐的SOPs，啟發(fā)了未來對于多智能體社會的研究和探索，也可視為對基于大模型的多智能體框架進行調節(jié)的早期嘗試。

論文鏈接：https://arxiv.org/abs/2308.00352
代碼鏈接：https://github.com/geekan/MetaGPT