研究表明，隨著LLM支持更長的場景，需要微調LLM或使用檢索增強生成(RAG)。

近幾個月來，走在科技前沿的人工智能公司和研究機構在擴展大型語言模型(LLM)的場景窗口方面取得了令人印象深刻的進展。場景窗口是LLM可以處理的輸入長度。場景窗口越長，可以在給定模型的提示符中放入的信息和說明就越多。

在幾年內，場景窗口已經從GPT-3中的2048個令牌增加到Gemini 1.5 Pro中的100萬個令牌。新技術有望進一步將LLM的內存擴展到無限個令牌。改進的注意力機制使LLM能夠對很長一段文本中的非常具體的信息做出反應，也被稱為“大海撈針”測試。

隨著LLM支持更長的場景，人們經常提出的一個問題是，是否需要微調LLM或使用檢索增強生成(RAG)。這些努力雖然非常有效和有用，但有時需要大量的工程努力。

與LLM的許多其他事情一樣，其答案既是肯定的，又是否定的。LLM可以在項目的早期階段避免許多工程工作的需要。但是，在擴展模型的使用時，開發人員將需要重新使用久經考驗的優化技術。

無限場景vs微調

微調LLM需要幾個階段：首先收集并標記訓練數據。然后，開發人員選擇適合自己需求的模型，設置計算集群，然后編寫并運行用于微調的代碼。隨著微調服務的出現，現在可以通過API服務對模型進行微調，而無需設置自己的GPU。但是，開發人員仍然需要控制訓練過程，例如epoch的數量和模型評估。

相比之下，對于無限場景LLM，可以通過提示工程來調整模型的行為。Google DeepMind最近發布的一篇論文探討了多鏡頭場景學習(ICL)的能力，這是由LLM不斷增長的場景窗口實現的。基本上，通過在提示符中插入數百或數千個輸入/輸出示例，可以讓模型完成以前需要微調的事情。

提示工程的技術入口門檻非常低，任何有權訪問模型的人都可以訪問。即使沒有軟件開發經驗的人也可以使用諸如多鏡頭場景學習(ICL)之類的技術來根據他們的需要配置LLM。

無限場景vs檢索增強生成(RAG)

檢索增強生成(RAG)甚至比微調更具技術性。首先，開發人員需要將文檔分解為可管理的塊，計算它們的嵌入，并將它們存儲在向量數據庫中。然后，需要創建一個提示管道來計算用戶請求的嵌入，從向量存儲中檢索相關文檔塊，并在將其傳遞給模型之前將其內容添加到提示中。

為了改進RAG管道，必須使用更高級的技術，例如重新排序、多跳檢索和創建自定義嵌入模型。

相比之下，在無限關注的情況下，可以簡單地將所有文檔轉儲到提示中，并嘗試不同的指令，使模型能夠選擇相關部分并將其用于響應。前沿模型現在允許將幾本書的數據加載到提示符中。而且它們非常擅長為自己的答案確定特定的信息。

這意味著，例如開發人員可以將編程庫的整個文檔插入到提示符中，并獲得模型來幫助自己使用該庫編寫代碼。

LLM和工程任務

LLM的總體趨勢是降低創建機器學習系統的入門門檻。由于LLM的零樣本、少次和現在的多次學習能力，可以讓它們完成以前需要幾天或幾周的工程任務。例如，可以使用LLM(如GPT-4或Claude 3)創建一個完整的情感分析系統，而無需訓練任何模型，并且只需最少的編碼。

更長的場景窗口將延續這一趨勢，并消除對復雜任務的工程努力的需要。然而，長期和無限場景的LLM并不是靈丹妙藥。

創建成功的產品和應用程序不僅僅依賴于創建解決問題的概念驗證，它還需要創建一個可以大規模工作的系統。

例如，當開發人員在原型設計過程中處理數十或數百個推理請求時，成本和推理速度將不是太大的問題。但是，當每天處理數千萬個請求時，在每個提示符中添加或刪除一些令牌可能會對計算、內存和財務成本產生相當大的影響。

微調、RAG以及為支持它們而創建的所有技術和工具都可以達到這些目的。例如，低階自適應(LoRA)使開發人員能夠創建成百上千個微調的LLM，而無需為每個模型存儲數十億個參數。這些技術可以改變高使用率應用程序的游戲規則。

隨著人工智能公司和研究機構繼續改進LLM的功能，他們將簡化人工智能應用概念的創建。產品團隊將能夠在不需要機器學習團隊的情況下創建和迭代原型。這將加速產品適應市場的過程。但是，當超越概念驗證時，不能低估良好的工程技能和有才華的團隊的價值，這些團隊可以創建可靠且可擴展的機器學習管道。

正如HyperWrite AI公司首席執行官Matt Shumer指出的那樣，“提示是通往PMF(產品市場契合度)的方法，然后根據規模進行微調。”

原文標題：Will infinite context windows kill LLM fine-tuning and RAG?，作者：Ben Dickson

鏈接：https://bdtechtalks.com/2024/04/26/LLM-infinite-context-fine-tuning-rag/。