傳統的大型語言模型 (LLM)存在上下文長度限制，這限制了單次用戶與模型交互中處理的信息量，這是其主要局限性之一。解決這一限制一直是 LLM 開發社區的主要工作方向之一，提高了人們對增加上下文長度在生成更連貫、更準確響應方面優勢的認識。例如，2020 年發布的 GPT-3 上下文長度為 2048 個 token，而其更年輕但功能更強大的兄弟 GPT-4 Turbo（誕生于 2023 年）允許在單個提示中處理高達 128K 個 token。毋庸置疑，這相當于能夠在一次交互中處理整本書，例如，對其進行總結。

另一方面，檢索增強生成 (RAG)會整合來自檢索文檔（通常是向量數據庫）的外部知識，以增強 LLM 輸出的上下文和相關性。然而，在 RAG 系統中管理上下文長度仍然是一個挑戰，因為在某些需要大量上下文信息的場景中，需要對檢索到的信息進行有效的選擇和匯總，以使其保持在 LLM 的輸入限制以下，同時又不丟失必要的知識。

RAG 中的長上下文管理策略

RAG 系統有多種策略，可以在將初始用戶查詢傳遞給 LLM 之前，盡可能多地整合檢索到的相關知識，同時又不超出模型的輸入限制。以下概述了其中四種策略，從最簡單到最復雜。

1. 文檔分塊

文檔分塊通常是最簡單的策略，它專注于將向量數據庫中的文檔拆分成更小的塊。雖然乍一看可能不太明顯，但該策略有助于通過多種方式克服 RAG 系統內 LLM 的上下文長度限制，例如，在保持塊內上下文完整性的同時，降低檢索冗余信息的風險。

2.選擇性檢索

選擇性檢索是指對大量相關文檔應用過濾過程，僅檢索最相關的部分，從而縮小傳遞給 LLM 的輸入序列的大小。通過智能地過濾檢索到的文檔中需要保留的部分，其目標是避免包含不相關或無關的信息。

3. 有針對性的檢索

雖然與選擇性檢索類似，但定向檢索的本質是帶著非常具體的意圖或最終響應來檢索數據。這是通過針對特定類型的查詢或數據源優化檢索器機制來實現的，例如，構建專門用于醫學文本、新聞文章、最新科學突破等的檢索器。簡而言之，它構成了一種進化且更專業的選擇性檢索形式，并在循環中加入了特定領域的標準。

4. 上下文摘要

上下文摘要是 RAG 系統中一種更復雜的上下文長度管理方法，我們在構建最終上下文的過程中應用文本摘要技術。一種可行的方法是使用一個額外的語言模型（通常規模較小，且經過摘要任務訓練），用于對檢索到的大量文檔進行摘要。摘要任務可以是提取式的，也可以是抽象式的。提取式識別并提取相關的文本段落，抽象式從頭生成摘要，對原始文本塊進行重新表述和精簡。此外，一些 RAG 解決方案使用啟發式方法來評估文本片段（例如文本塊）的相關性，并丟棄相關性較低的文本塊。

長上下文語言模型

那么長上下文LLM怎么樣？這樣就夠了，不需要RAG了？

這是一個需要解決的重要問題。長上下文LLM（LC-LLM）是“超大型”LLM，能夠接受非常長的輸入標記序列。盡管研究證據表明LC-LLM的性能通常優于RAG系統，但后者仍然具有獨特的優勢，尤其是在需要動態實時信息檢索和成本效益的場景中。在這些應用中，值得考慮使用封裝在采用上述策略的RAG系統中的小型LLM，而不是LC-LLM。它們都不是萬能的解決方案，它們都能在各自適用的特定環境中具有優勢。

小結

本文介紹并闡述了在 RAG 系統中管理上下文長度的四種策略，以及在此類系統中的 LLM 在單用戶交互中可接受的輸入長度可能存在限制的情況下處理長上下文的策略。雖然使用所謂的長上下文 LLM 近年來已成為克服此問題的趨勢，但在某些情況下，堅持使用 RAG 系統可能仍然是值得的，尤其是在需要實時更新上下文的動態信息檢索場景中。