超強的泛化能力，讓大模型成為「通用人工智能」的一縷曙光。

然而，讀萬卷書，不如行萬里路，在開放環境中，大模型需要真正地「走」進物理世界，才能切實地理解復雜任務、解決實際問題。

近日，李學龍教授團隊在開放環境中的自主無人機集群方面開展了創新研究，基于國產大模型，實現了開放環境下「人機」和「多機」的對話交互，打破人類和機器的交互壁壘，進一步拓展了臨地安防的應用場景，讓大模型插上翅膀，飛入我們的現實生活中。

受人類的認知模式啟發，團隊將認知形成的高度自主性凝練為「思維計算—實體控制—環境感知」的三元交互，建立了「書生·浦語」開源大模型驅動的自主無人機「群聊式」控制框架，給每架無人機裝上了大腦，讓無人機集群在語言溝通中動態協同，實現了開放環境和復雜任務中的智能交互、主動感知和自主控制，提高了無人機任務執行的自主性。

總體而言，類人對話交互、主動環境感知、自主實體控制，是自主無人機集群的主要能力。

類人對話交互

圖1 無人機群聊溝通

探索人類用戶與無人機的交互方式，讓無人機理解復雜任務中的用戶需求，是實現自主無人機的前提條件。

針對此，團隊提出「群聊式」對話交互方法，將聲音、圖像和無人機自身狀態等多種信息，通過大模型轉換為自然語言的對話形式，實現了用戶與無人機，以及無人機與無人機之間自主和直觀的交互方式。

同時，團隊設計了一套高效的實時反饋機制，使得無人機能夠在任務執行的關鍵節點通過對話報告自身狀態、尋求用戶確認，大大提高了復雜任務執行的穩定性和安全性。

主動環境感知

圖2 主動發現并靠近目標

圖3 動態環境避障

在飛行過程中，無人機主動感知外部環境，實時調整任務規劃，是完成復雜任務的關鍵環節。

針對此，團隊設計了任務引導的主動感知機制，提出了多傳感器融合的低空搜索、動態避障和視覺定位算法。

在實際任務執行中，根據感知信息和任務目標，動態調整無人機飛行路徑和觀測位姿，嘗試從不同角度和位置感知周圍世界，逐漸降低環境中的不確定性，實現高效的信息采集和任務執行。

自主控制

圖4 自主目標抓取

圖5 異構無人機集群協同控制

探索復合智能體形態，增強復雜任務處理能力，是大模型時代新型智能體的研究重點。

針對此，團隊依托無人機平臺設計了夾爪等末端執行器，將傳統無人機拓展為「飛行機器人」，長出「手」來，具備抓取能力。

同時，構建了異構無人機集群協同控制機制，結合環境感知反饋，實時調整無人機編隊的飛行狀態，使集群分工執行區域搜索、目標定位和抓取等任務。

大模型自主無人機集群是團隊將生物智能「思維計算—實體控制—環境感知」的三元交互模式應用于自主智能體的一次成功嘗試，依托大語言模型、無人機平臺和多種傳感器，實現對話交互、主動感知和自主控制，對安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義。

參考資料：李學龍, 臨地安防（Vicinagearth security）, 中國計算機學會通訊, 18(11), 44-52, 2022.