近年來，人工智能發展迅速，尤其是像ChatGPT這樣的基礎大模型，在對話、上下文理解和代碼生成等方面表現出色，能夠為多種任務提供解決方案。

但在特定領域任務上，由于專業數據的缺乏和可能的計算錯誤，它們的表現并不理想。同時，雖然已有一些專門針對特定任務的AI模型和系統表現良好，但它們往往不易與基礎大模型集成。

為了解決這些重要問題，TaskMatrix.AI破繭而出、應運而生，這是由微軟（Microsoft）設計發布的新型AI生態系統。

其核心技術近期在《科學》合作期刊Intelligent Computing上發表的論文TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs中正式亮相，作者為微軟亞洲研究院的段楠博士團隊：

（詳見鏈接：https://spj.science.org/doi/10.34133/icomputing.0063）

TaskMatrix.AI將基礎大模型與數以百萬計的應用程序編程接口（APIs）連接起來完成任務。

其核心思想是利用現有的基礎大模型作為類似大腦的中央系統，結合其他AI模型和系統的APIs作為各種子任務解決者，以完成數字和物理領域的多樣化任務。

△圖：由DALL·E 3生成

TaskMatrix.AI如何工作？

TaskMatrix.AI的整體架構由以下四個關鍵組件構成：

• 多模態對話基礎模型（MCFM）：負責與用戶溝通，理解他們的目標和上下文（多模態），并基于API生成可執行代碼以完成特定任務。MCFM能夠處理文本、圖像、視頻、音頻和代碼等多模態輸入，生成執行特定任務的代碼。它還能夠從用戶指令中提取具體任務，并提出合理的解決方案大綱，幫助選擇最合適的API進行代碼生成。
• API平臺：提供一個統一的API文檔架構，用于存儲數以百萬計具有不同功能的API，并允許API開發者和所有者注冊、更新和刪除他們的API。API平臺通過統一的文檔架構幫助MCFM更好地理解和利用各種API。
• API選擇器：根據MCFM對用戶指令的理解，推薦相關的API。API選擇器具備搜索能力，能夠在擁有大量API的平臺上快速定位到與任務需求和解決方案大綱相匹配的API。
• API執行器：通過調用相關API執行生成的動作代碼，并返回中間和最終的執行結果。API執行器設計用于運行各種API，包括從簡單的HTTP請求到復雜的算法或需要多個輸入參數的AI模型。

以上四個組件協同工作，共同構建了一個高效的系統。MCFM作為用戶交互的主要接口，負責生成解決方案。API平臺則提供了一個標準化的API文檔格式，并作為一個集中存儲庫，容納了數百萬API。API選擇器根據MCFM對用戶需求的理解，從API平臺中選取合適的API。

最后，API執行器負責執行由選定API生成的代碼，并解決任務。

此外，TaskMatrix.AI還提供了兩個可學習的機制，以更有效地將MCFM與API對齊：

• 基于人類反饋的強化學習（RLHF）：這是一種基礎大模型的通用技術，它使用強化學習方法，利用人類反饋來優化機器學習模型。在TaskMatrix.AI中，RLHF利用這些反饋來增強MCFM和API選擇器，從而在處理復雜任務時實現更快的收斂和更好的性能。
• 向API開發者提供反饋：TaskMatrix.AI完成任務后，會將用戶反饋以適當的方式傳遞給API開發者，指示他們的API是否成功用于完成任務。這種包含<用戶指令、API調用和用戶反饋>的三元組不僅展示特定API的使用情況，還可以作為API開發者改進API文檔的參考，使文檔對MCFM和API選擇器更加友好和易于理解。

因此，TaskMatrix.AI可以被視為一個超級AI，同時也是一個生態系統，具有以下關鍵優勢：

• 能夠通過使用基礎大模型作為核心系統，首先理解不同類型的多模態輸入（如文本、圖像、視頻、音頻和代碼），然后生成調用API完成任務的代碼，來執行各種數字和物理任務。
• 擁有一個API平臺，作為各種任務專家的存儲庫。該平臺上的所有API都有一致的文檔格式，這使得基礎大模型可以輕松使用它們，開發者也便于添加新的API。
• 具有強大的終身學習能力，因為它的技能可以通過向API平臺添加具有特定功能的新API來擴展，以處理新任務。
• 能夠提供更加可解釋的響應，因為任務解決邏輯（即行動代碼）和API的結果都是可理解的。

TaskMatrix.AI能完成什么任務？

TaskMatrix.AI能完成的任務非常廣泛，小到文字、圖像信息的基本信息處理，大到控制機器人平臺、接入物聯網（IoT）等通用平臺任務，TaskMatrix都能勝任。

圖像處理任務

TaskMatrix.AI可以執行圖像處理任務，并且能夠接受語言和圖像作為輸入。下圖展示了TaskMatrix.AI的相關版本Visual ChatGPT，它不僅能夠理解人類意圖，還能處理語言和圖像輸入，以完成包括圖像生成、問題回答和編輯在內的復雜視覺任務。

下圖展示了使用多個API協作生成高分辨率圖像的示例。在該例中，解決方案框架由3個API組成：圖像問答、圖像標題以及圖像對象替換。

左側框線部分展示了解決方案框架如何協助將圖像擴展至2048×4096分辨率。通過迭代執行框架中的預定義步驟，TaskMatrix.AI可以生成任何所需尺寸的高分辨率圖像。

辦公自動化

TaskMatrix.AI能夠通過語音指令理解并自動執行計算機操作系統、專業軟件以及智能手機應用的操作。利用TaskMatrix.AI，可以快速上手復雜軟件。

此外，它還能幫助用戶在不進行搜索的情況下直接訪問所需功能。以下是一個PowerPoint自動化的實例，TaskMatrix.AI能夠根據用戶指定的主題自動生成幻燈片，智能調整內容布局，插入和優化圖像，并應用相應的設計主題，從而顯著提升工作效率。

機器人和物聯網設備控制

TaskMatrix.AI 可以連接機器人和物聯網設備，實現對體力勞動和智能家居操作的自動化管理。通過集成先進的機器人技術，TaskMatrix.AI 能夠執行一系列任務，如物體的拾取與放置以及對家庭物聯網設備的智能控制。

此外，該平臺還整合了多種流行的互聯網服務，包括但不限于日歷API、天氣API和新聞API，提供了更加豐富和便捷的用戶體驗。

TaskMatrix.AI的挑戰

盡管TaskMatrix.AI已經在各種任務中證明了其強大的功能和通用性，但仍面臨以下幾個挑戰：

• 多模態會話基礎大模型：TaskMatrix.AI需要一個能夠處理多種輸入（文本、圖像、視頻、音頻和代碼）的強大基礎大模型。這個模型需要能夠從上下文中學習，使用常識進行推理和計劃，并生成高質量的代碼來完成任務。此外由于TaskMatrix.AI需要處理更多樣化的輸入模式，這要求確定一個最小模式集來訓練MCFM。
• API平臺：構建和維護一個包含數百萬API的平臺需要解決文檔生成、API質量保證和API創建建議等挑戰。API文檔的清晰性和API的質量對于TaskMatrix.AI的成功至關重要。此外，平臺還需要根據用戶反饋指導API開發者創建新的API來解決特定任務。
• API調用：在處理大量API時，TaskMatrix.AI需要能夠合理選擇和推薦相關的API來完成任務。此外還涉及到在線規劃，即在無法立即生成解決方案時，與用戶交互并嘗試不同的解決方案。
• 安全和隱私：在API能夠訪問物理和數字世界時，確保模型忠實于用戶指令并保持數據私密性是至關重要的。這要求在執行操作前驗證模型的行為，并確保數據傳輸的安全性和數據訪問的授權。
• 個性化：TaskMatrix.AI需要個性化策略來幫助開發者構建定制的AI界面，并為用戶提供私人助理。這包括降低擴展成本和使用少量示例來學習用戶的偏好，以便生成符合用戶需求的解決方案。