在多智能體系統中的協作算法中，傳統的路徑規劃方法，例如旅行商問題求解器、粒子群優化算法和貪婪搜索策略，通常能夠在靜態或已知環境中表現出色。當環境充滿不確定性且任務目標分布未知時，這些方法的局限性顯露無遺。傳統強化學習方法雖然能夠在部分可觀測環境中進行學習，但在多智能體場景中卻常常難以協調智能體之間的行為，導致效率低下。問題的核心在于這些傳統方法缺乏對智能體之間復雜關系的有效建模能力，同時也很難在多智能體系統中利用長期協作的優勢。

于是為解決這些問題，研究者們開始尋找更加創新的解決方案。圖神經網絡（Graph Neural Network, GNN）在建模圖結構化數據方面表現出色，可以用來刻畫智能體之間以及智能體與目標之間的復雜交互關系。而 Transformer以其卓越的長距離依賴捕捉能力和消息傳遞機制，可以有效處理部分可觀測環境下的序列化信息。這兩種技術的結合為多智能體系統的優化提供了新的方向，不僅能夠提升智能體間的協調能力，還能顯著優化路徑規劃和任務執行。

這項研究由多個機構的專家協同完成，體現了跨領域合作的深度與廣度。主要團隊來自美國南卡羅來納州的克萊姆森大學（Clemson University）計算學院，匯聚了 Michael Elrod、Niloufar Mehrabi、Long Cheng、Jim Martin 和 Abolfazl Razi 等計算領域的杰出研究者，他們專注于深度強化學習、圖神經網絡和多智能體系統的技術研發。加州州立大學洛杉磯分校（California State University, Los Angeles）的計算機科學系研究員 Manveen Kaur 和麻省理工學院林肯實驗室（MIT Lincoln Laboratory）的技術專家 Rahul Amin，也為研究帶來了重要的視角和支持。

1.技術背景與相關工作

在實際應用中，多智能體系統的需求非常明確——它們需要在復雜的環境中執行高效協作。例如，災害響應場景中，無人機需要快速找到目標點，分發資源并監測關鍵區域；農業場景中，它們需要在廣闊農田中定位病蟲害區域；甚至在城市規劃中，無人機可以協作提供實時監控數據以輔助交通管理。這些任務通常都需要智能體具備以下能力：獨立導航、實時決策以及互相協調。

這樣的協作任務并不輕松。一方面，智能體通常面臨部分可觀測性問題：攝像頭視野有限，通信范圍受限；另一方面，動態環境中的不確定性使得智能體必須具備自適應能力。在災害響應場景中，無人機可能無法提前預測哪些區域需要覆蓋，這就要求它們能在實時獲取數據時快速調整策略。而且在團隊工作中，單個智能體的錯誤可能影響整個任務的效率，這就對協作算法提出了更高的要求。

對于協作任務規劃，傳統方法在較為簡單的場景中有不錯的表現。例如，粒子群優化算法（PSO）擅長全局搜索目標，但容易在動態環境中陷入局限。貪婪算法雖然能快速做出決定，但往往缺乏長遠規劃，導致效率低下。基于普通深度Q網絡（DQN）的強化學習方法可以幫助智能體學習策略，但在多智能體場景中會出現智能體間協調不足的問題。

另一種研究較多的分布式約束優化（DCOP）技術通過明確任務優先級來改善智能體間的協調能力。這些方法通常能夠在通信較充分的場景中提升效率，但它們的通信開銷巨大，使得實際應用中難以應對帶寬受限的條件。這些技術的優點是顯而易見的，比如快速響應、簡單實現；但它們的缺陷也不容忽視，尤其是當任務規模和復雜度提升時，這些方法的性能往往會大打折扣。

在解決上述問題的過程中，深度強化學習（Deep Reinforcement Learning，DRL）、圖神經網絡（Graph Neural Network，GNN）以及 Transformer 技術的結合，為多智能體協作帶來了新希望。

DRL 最大的優勢在于它能夠處理部分可觀測性環境下的任務，通過學習狀態與動作的映射關系來優化智能體的決策。它能處理環境的不確定性，并隨著經驗積累不斷提升策略。但在多智能體場景中，DRL單獨使用時容易因智能體間缺乏有效信息交互而導致局部最優。

圖1：具有5個代理和20個目標、未收集目標（綠色）、收集目標（灰色）和代理視覺半徑rv（代理周圍的紅色圓圈）的網格環境的示例配置。無人機最多可以與k=3個相鄰無人機通信。

圖神經網絡的出現提供了一個革新性的解決方案。GNN能夠高效地建模智能體與目標之間的關系，將整個系統表達為圖結構，并通過節點和邊捕獲關鍵的協作信息。在任務規劃中，GNN可以幫助無人機了解自己與其他成員的相對位置，以及如何分配目標。

而 Transformer以其多頭注意力機制和卓越的信息捕捉能力，進一步增強了任務規劃的效果。它能夠在部分可觀測環境下處理長距離依賴關系，將局部信息與全局信息結合，從而讓智能體之間的消息傳遞更加高效。

2.方法論解析

2.1 問題表述與模型構建

在多智能體導航中，如何使無人機在未知目標和動態環境下實現高效路徑規劃是一個核心問題。研究團隊將該問題建模為部分可觀測馬爾科夫決策過程（MDP），以充分捕捉環境的不確定性和智能體的決策過程。

MDP 通常通過四元組 (S,A,T,R) 來描述：

狀態空間 (S)：包括環境中的所有可能狀態。對于每個智能體 i，狀態可以細化為：

其中pi(t)表示代理i的位置，Gi（t）表示可見和未收集目標的集合，其中 pi(t)是智能體的位置 是可見且未被收集的目標集合，而 Vi(t)是智能體的可視區域，定義為滿足以下條件的點集：

rv是視野范圍，設定為 4.5 單位。

• 動作空間 (A)：智能體可以選擇的動作為四個方向的離散移動（上、下、左、右）。
• 轉移動態 (T)：描述狀態之間的變化，由環境和智能體的動作決定。
• 獎勵函數 (R)：用于引導目標導向行為并懲罰無效動作，其定義為：
• γ=0.99\gamma = 0.99 為折扣因子。
• rg=+10是成功收集目標的獎勵。
• rv=?5是無效動作的懲罰。
• Ig,Iv分別是目標是否被收集和動作是否合法的指示函數。

這一框架確保了智能體在部分可觀測的環境中能夠逐步優化其導航策略，提升目標達成率和任務效率。

2.2 圖神經網絡架構設計

多智能體之間的交互關系復雜，傳統方法難以捕捉這種動態。為此，研究團隊提出了一種基于圖神經網絡（GNN）的架構，將智能體和目標建模為節點，通過自適應的邊權表征關系。

圖2：提出的GNN架構由實體嵌入層和基于轉換器的消息傳遞機制組成。

節點特征構造：每個節點 vi 的特征向量 fi 包括空間位置和動態目標信息：

表示節點相對于觀察智能體的相對位置。

是三個最近目標的位置及其收集狀態。

τi標識節點類型：0表示智能體，1表示目標。

自適應圖構建方法：圖結構通過動態更新生成，其中邊權重 eij 的定義為：

有效邊集合 Evalid滿足以下條件：

• 距離閾值：dij≤rv。
• 智能體間連接：僅連接至 k=3個最近智能體。
• 非自連接：i≠j。

這種動態圖結構使得模型能夠隨時間步捕捉環境變化，優化智能體的協作任務規劃。

2.3 Transformer 增強的消息傳遞機制

圖神經網絡的優勢在于局部信息處理，而 Transformer 則以其長距離依賴捕捉能力為補充，進一步提升消息傳遞效率。

圖3：基于Transformer的架構生成的注意力權重熱圖。行表示源節點（代理），列表示目標節點（目標）。顏色越亮（權重越高）表示注意力越強，突出了關鍵的代理目標關系。

實體嵌入層：初始節點特征 fi 被擴展為：

其中：

• ?(τi) 是實體類型的嵌入。
• eij表示節點間的邊權。

多頭 Transformer 層：消息傳遞通過注意力機制進行，節點嵌入更新為：

其中 H=3是注意力頭數，Whl為權重矩陣。

注意力系數計算為：

bij通過邊權 eij融入注意力機制。

這種機制動態調整權重，優先處理關鍵交互關系，例如智能體與目標或智能體間的協調信息，從而實現局部與全局信息的平衡。

2.4 強化學習架構：雙深度 Q 網絡

為降低訓練誤差并提升學習效率，研究團隊采用了雙深度 Q 網絡（Double DQN）架構，并結合優先經驗回放。

損失函數設計：

其中 yi是目標 Q 值：

重要性采樣權重 wi計算為：

δi是時間差分誤差，?、α、β為超參數。

目標網絡軟更新機制：在線網絡參數 θ更新為：

θ′←τθ+(1?τ)θ′

這種架構結合優先經驗回放策略，顯著提升了智能體在部分可觀測環境中的學習效率。

3.實驗設計與結果分析

3.1 實驗環境與參數設定

為了驗證這一框架的有效性，研究團隊設計了一個可擴展的網格化模擬環境，旨在模擬各種復雜任務情境。從小規模的 10×10 網格到較大規模的 60×60 網格，實驗逐步增加了任務的復雜性，以測試方法的適應能力和擴展性能。

每個實驗環境中都隨機分布了智能體和目標。以小型網格為例（如 10×10 網格），智能體和目標的數量相對較少，適合評估基礎導航性能；而在更大的網格（如 60×60）中，智能體數量可能擴展到 33 個，而目標數量則達到 169 個，這種配置能充分檢驗算法在高密度目標場景中的任務分配能力。

為了使實驗更接近真實應用場景，團隊為智能體設置了兩項重要的限制：

1.視覺范圍：每個智能體的視野為以當前位置為中心、半徑為 4.5 個單位的圓形區域，僅能感知附近的目標和智能體。

2.通信約束：智能體只能與最近的 3 個鄰居通信，這不僅模擬了實際帶寬限制的場景，還強調了在受限通信條件下的高效協作需求。

這一實驗設定為不同規模和條件的多智能體系統提供了統一的測試基準，能夠全面評估所提出框架在真實復雜環境中的表現。

3.2 訓練過程與細節

訓練過程設計精巧，旨在確保智能體能夠在動態環境中高效地學習和改進其導航策略。研究團隊使用了以下訓練參數：

• 學習率：設置為 α=0.0005，以平衡學習的穩定性和速度。
• 經驗回放緩沖區：大小為 100,000，允許算法從大量歷史經驗中提取信息，避免偏倚。
• 探索策略：采用?貪心方法，其中 ?從 1.0 線性衰減到 0.01，逐步減少隨機探索以專注于利用已學得的策略。

每次訓練更新在包含 64 條經驗的 mini-batch 中進行，優先抽取那些有更高學習潛力的經驗進行訓練。團隊還結合了軟更新策略，對目標網絡的參數 θ′按以下公式更新：

θ′←τθ+(1?τ)θ′

其中 τ=0.001，確保更新過程足夠平滑，避免劇烈波動。

訓練以回合形式進行，每回合最多包含 200 個時間步。在每 4 個時間步后，智能體根據新采樣到的經驗優化策略，從而逐步提升其目標收集能力和任務效率。

3.3 性能評估指標解析

為了全面衡量框架性能，研究團隊選取了以下兩大核心指標：

• 目標收集率：衡量智能體成功訪問目標點的比例。這一指標直接反映了系統的任務完成效果。
• 網格覆蓋率：計算智能體在單回合內觀察到的網格比例，用于評估其探索能力。

圖4：所提出的方法與基線DQN方法在（a）目標實現和（b）網格覆蓋方面的比較。

此外，每回合所需的平均步數和時間效率也被用來比較不同算法的表現。結果顯示，所提出的 GNN 架構顯著優于基線 DQN。在一個包含 15 個智能體的大型網格（40×40）實驗中，GNN 的目標收集率達到 90%，而傳統DQN 僅為 42%。更重要的是，GNN 實現了近乎 100% 的網格覆蓋率，而 DQN 在更大規模網格中的覆蓋率最高只能達到 82%。這些數據表明，GNN 在處理高密度目標任務時具備強大的擴展性和效率。

圖5：GNN和DQN方法之間的性能比較顯示了15個代理隨時間收集的目標百分比。

3.4 對比分析與消融研究

為了全面驗證框架的優越性，研究團隊對比了多種基線算法，包括粒子群優化（PSO）、基于密度的掃描（DBSCAN）、貪婪搜索算法和普通強化學習（RL）。實驗結果顯示，無論是在目標收集效率還是任務完成時間上，GNN 均顯著領先。例如，在 100×100 的大規模網格中，GNN 平均每回合需要 200 步，而其他方法需要多達 600 步。

圖6：所提出的方法和基準算法之間的目標實現比較。

研究還通過注意力權重熱圖分析了 Transformer 在框架中的作用。熱圖清晰地展示了智能體與目標之間的交互重點。例如，某些智能體在關鍵任務目標上分配了更高的注意力權重，從而顯著提升了整體協作效率。

圖7：在具有15個代理的40×40環境中，不同代理連接限制對GNN性能的影響。該分析涵蓋了2到7個最近鄰居的連接限制。

在消融實驗中，研究團隊改變了智能體之間的通信連接數，從 2 到 7 不等。結果表明，適度增加連接數有助于提升性能，因為智能體可以通過額外的連接交換更多信息。然而，當連接數超過一定閾值后，性能的提升趨于飽和，甚至因通信開銷增加而略有下降。這一現象凸顯了通信資源與任務性能之間的權衡，為實際應用中如何設計通信策略提供了寶貴的實踐指導。

4.總結與討論

4.1對研究團隊創新點的整體評價

在傳統路徑規劃與強化學習方法仍然困于動態環境復雜性的今天，研究團隊的創新顯得尤為奪目。他們提出了一種將圖結構和 Transformer 技術有機結合的新穎方法，以應對多智能體導航的挑戰，并在有限通信與部分可觀測條件下實現了協作任務的顯著優化。

圖神經網絡 (GNN) 的核心貢獻在于提供了一個靈活的建模工具，將智能體間的交互關系及智能體與目標點之間的關聯以結構化圖的形式呈現。通過動態更新圖結構，該框架能夠實時適應環境變化，實現了智能體間的高效協作。而 Transformer 的加入則進一步增強了消息傳遞的能力，其多頭注意力機制可以捕捉長距離依賴，并在局部與全局信息之間找到完美平衡。這種雙技術結合使得智能體既能高效處理與鄰居的交互關系，又能優化整體任務規劃。

研究團隊的實驗結果令人印象深刻。相較于傳統方法（如粒子群優化、貪婪算法及基線 DQN），GNN 和Transformer 的組合在目標收集率、網格覆蓋率以及任務完成效率上均取得了顯著提升。這一架構不僅解決了傳統方法擴展性不足的問題，還充分利用了信息交換中的協作優勢，為動態多智能體任務規劃設立了新標桿。

研究團隊的細節處理也展現了嚴謹性與前瞻性，節點特征的精確構造、自適應圖的動態生成以及基于雙深度 Q 網絡的學習策略相輔相成，推動了整體框架的高效運行。無論從理論創新還是實際效果來看，這篇研究團隊都為多智能體協作系統的發展提供了重要啟示。

4.2對實際應用和未來發展的啟示

這一框架不僅在理論上具有突破性意義，在實際應用中也展現了強大的潛力。無人機自主規劃是一個直接且現實的應用場景。想象一組無人機在災害響應中部署，它們能夠像蜂群一樣協調行動，快速覆蓋所有受影響區域。憑借 GNN 的結構化信息處理能力和 Transformer 的高效消息傳遞機制，無人機能夠實時調整路徑，最大化資源利用率，同時在部分可觀測環境中保持決策的魯棒性。

在農業領域，這一方法同樣充滿前景。無人機可以協作完成農田監測任務，例如精準定位病蟲害區域，并高效分配工作目標，減少重復飛行。更重要的是，這種框架還可以適應動態天氣條件，實時更新監測策略，為農作物管理提供支持。

除此之外，城市交通管理也是一個值得探索的方向。多智能體系統可以利用這一框架，協同優化交通流量管理，減少堵塞情況發生。例如，一組自動駕駛車輛可以基于實時感知數據自主規劃路徑，在確保安全的同時提升整體效率。

未來的研究也面臨一些挑戰。隨著任務規模進一步擴大，通信帶寬限制可能成為瓶頸。這就需要探索更加高效的通信策略，例如壓縮信息以減少傳輸負擔。此外在計算復雜性方面，如何在資源受限設備（如無人機）上實現更輕量化的算法也是一個重要課題。（END）

參考資料：???https://arxiv.org/abs/2504.08195??

本文轉載自???獨角噬元獸???，作者：FlerkenS