近年來，大語言模型（LLM）及其底層的 transformer 架構已經成為了對話式 AI 的基石，并催生了廣泛的消費級和企業應用程序。盡管有了長足的進步，但 LLM 使用的固定長度的上下文窗口極大地限制了對長對話或長文檔推理的適用性。即使是使用最廣泛的開源 LLM，它們的最大輸入長度只允許支持幾十條消息回復或短文檔推理。

與此同時，受限于 transformer 架構的自注意力機構，簡單地擴展 transformer 的上下文長度也會導致計算時間和內存成本成倍增加，這就使得全新的長上下文架構成為緊迫的研究課題。

不過，即使我們能夠克服上下文縮放的計算挑戰，但最近的研究卻表明，長上下文模型很難有效地利用額外的上下文。

這如何解決呢？考慮到訓練 SOTA LLM 所需的大量資源以及上下文縮放明顯的回報遞減，我們迫切需要支持長上下文的替代技術。加州大學伯克利分校的研究者在這方面有了新的進展。

在本文中，研究者探究了如何在繼續使用固定上下文模型的同時，提供無限上下文的幻覺（illusion）。他們的方法借鑒了虛擬內存分頁的思路，使得應用程序能夠處理遠超出可用內存的數據集。

基于該思路，研究者利用 LLM 智能體函數調用能力的最新進展，設計出了一個受 OS 啟發、用于虛擬上下文管理的 LLM 系統 ——MemGPT。

論文主頁：https://memgpt.ai/

arXiv 地址：https://arxiv.org/pdf/2310.08560.pdf

項目已經開源，在 GitHub 上已經斬獲了 1.7k 的 star 量。

GitHub 地址：https://github.com/cpacker/MemGPT

方法概覽

該研究從傳統操作系統的分層內存管理中汲取靈感，在上下文窗口（類似于操作系統中的「主存（main memory）」）和外部存儲之間有效地「分頁」進出信息。MemGPT 則負責管理內存、LLM 處理模塊和用戶之間的控制流。這種設計允許在單個任務期間反復進行上下文修改，從而允許智能體更有效地利用其有限的上下文窗口。

MemGPT 將上下文窗口視為受限內存資源，并為 LLM 設計類似于傳統操作系統中分層內存（Patterson et al., 1988）的層次結構。為了提供更長的上下文長度，該研究允許 LLM 通過「LLM OS」——MemGPT，來管理放置在其上下文窗口中的內容。MemGPT 使 LLM 能夠檢索上下文中丟失的相關歷史數據，類似于操作系統中的頁面錯誤。此外，智能體可以迭代地修改單個任務上下文窗口中的內容，就像進程可以重復訪問虛擬內存一樣。

MemGPT 能夠讓 LLM 在上下文窗口有限的情況下處理無界上下文，MemGPT 的組件如下圖 1 所示。

MemGPT 通過函數調用協調主上下文（上下文窗口中的內容）和外部上下文之間的數據移動，MemGPT 根據當前上下文自主更新和檢索。

值得注意的是，上下文窗口需要用 warning token 來標識其限制，如下圖 3 所示：

實驗及結果

在實驗部分，研究者在兩個長上下文域中來評估 MemGPT，分別是對話式智能體和文檔處理。其中對于對話式智能體，他們擴展了現有的多會話聊天數據集（Xu et al. (2021)），并引入了兩個新的對話任務以評估智能體在長對話中保留知識的能力。對于文檔分析，他們根據 Liu et al. (2023a) 提出的任務對 MemGPT 進行基準測試，包括對長文檔的問答和鍵值檢索。

用于對話智能體的 MemGPT

當與用戶對話時，智能體必須滿足以下兩個關鍵標準。

• 一是一致性，即智能體應保持對話的連貫性，提供的新事實、引用和事件應與用戶、智能體之前的陳述保持一致。
• 二是參與度，即智能體應該利用用戶的長期知識來個性化響應。參考之前的對話可以使對話更加自然和引人入勝。

因此，研究者根據這兩個標準對 MemGPT 進行評估：

• MemGPT 是否可以利用其記憶來提高對話一致性？能否記住過去交互中的相關事實、引用、事件以保持連貫性？
• MemGPT 是否可以利用記憶生成更有吸引力的對話？是否自發地合并遠程用戶信息以個性化信息？

關于使用到的數據集，研究者在 Xu et al. (2021) 提出的多會話聊天（MSC）上對 MemGPT 和固定上下文的基線模型展開評估對比。

首先來一致性評估。研究者引入了一個基于 MSC 數據集的深層記憶檢索（deep memory retrieval, DMR）任務，旨在測試對話智能體的一致性。在 DMR 中，用戶向對話智能體提出一個問題，并且該問題明確引用先前的對話，預期答案范圍會非常窄。具體可以參加下圖 5 示例。

MemGPT 利用內存來保持一致性。下表 2 顯示了 MemGPT 與固定記憶基線模型的性能對比，包括 GPT-3.5 和 GPT-4。

可以看到，MemGPT 在 LLM 判斷準確度和 ROUGE-L 分數方面顯著優于 GPT-3.5 和 GPT-4。MemGPT 能夠利用回想記憶（Recall Memory）查詢過去的對話歷史，進而回答 DMR 問題，而不是依賴遞歸摘要來擴展上下文。

然后在「對話開場白」任務中，研究者評估智能體從先前對話積累的知識中提取引人入勝的消息并傳遞給用戶的能力。

研究者在下表 3 中展示了 MemGPT 開場白的 CSIM 分數。結果表明，MemGPT 能夠制作引人入勝的開場白，其表現可以媲美甚至超越人類手寫的開場白。此外還觀察到 MemGPT 傾向于制作比人類基線更長且涵蓋更多角色信息的開場白。下圖 6 為示例。

用于文檔分析的 MemGPT

為了評估 MemGPT 分析文檔的能力，研究者對 MemGPT 以及在 Liu et al. (2023a) 檢索器 - 閱讀器文檔 QA 任務上的固定上下文基線模型進行了基準測試。

結果顯示，MemGPT 能夠通過查詢檔案存儲有效地對檢索器進行多次調用，從而可以擴展到更大的有效上下文長度。MemGPT 主動從檔案存儲中檢索文檔并且可以迭代地分頁瀏覽結果，因而其可用的文檔總數不再受到適用 LLM 處理器上下文窗口的文檔數量的限制。

由于基于嵌入的相似性搜索的局限性，文檔 QA 任務對所有方法都構成了極大的挑戰。研究者觀察到，MemGPT 會在檢索器數據庫耗盡之前停止對檢索器結果進行分頁操作。

此外 MemGPT 更復雜操作所創建的檢索文檔容量也存在權衡，如下圖 7 所示，其平均準確度低于 GPT-4（高于 GPT-3.5），但可以輕松地擴展到更大的文檔。

研究者還引入了一項基于合成鍵值檢索的新任務，即嵌套鍵值檢索（Nested Key-Value Retrieval），用以演示 MemGPT 如何對來自多個數據源的信息進行整理。

從結果來看，雖然 GPT-3.5 和 GPT-4 在原始鍵值任務上表現出了良好性能，但在嵌套鍵值檢索任務中表現不佳。而 MemGPT 不受嵌套層數的影響，并能夠通過函數查詢重復訪問存儲在主內存中的鍵值對，來執行嵌套查找。

MemGPT 在嵌套鍵值檢索任務上的性能，展示了其利用多個查詢的組合執行多條查找的能力。

更多技術細節和實驗結果請參閱原論文。