如何訓(xùn)練LLM自動在RAG和參數(shù)記憶之間進(jìn)行選擇

作者：李睿 2024-06-19 08:14:51

檢索增強(qiáng)生成(RAG)管道使大型語言模型(LLM)能夠在其響應(yīng)中使用外部信息源。但是RAG應(yīng)用程序?yàn)榘l(fā)送到LLM的每個(gè)請求檢索額外的場景信息。這使得該過程效率低下，因?yàn)長LM已經(jīng)包含了大量無需檢索即可使用的知識。

譯者 | 李睿

審校 | 重樓

Adapt-LLM可以訓(xùn)練LLM確定是否需要在問答任務(wù)中檢索額外的場景信息，將提高LLM應(yīng)用程序的效率。

如果可以將LLM配置為僅在其內(nèi)部知識不足時(shí)使用RAG，那會怎么樣?Adapt-LLM是由意大利博岑-博爾扎諾自由大學(xué)(Bozen-Bolzano)和意大利Bruno Kessler基金會的研究人員開發(fā)的一項(xiàng)技術(shù)，可以訓(xùn)練LLM動態(tài)地確定是否需要在問答任務(wù)中檢索額外的場景信息。Adapt-LLM可以幫助避免不必要的檢索，并提高LLM應(yīng)用程序的效率。

記憶vs檢索

LLM回答問題主要有兩種方法：第一種方法是依靠訓(xùn)練過程中獲得的參數(shù)記憶。參數(shù)記憶的局限性在于它完全基于訓(xùn)練語料庫。可以通過微調(diào)或小樣本提示技術(shù)來提高參數(shù)化的性能，這些技術(shù)將模型的注意力集中在相關(guān)參數(shù)上。但是，這些技術(shù)在模型必須動態(tài)使用新信息(例如最近的新聞或未包含在訓(xùn)練語料庫中的私人信息)的場景中是無用的。

第二種方法使用信息檢索器向模型提供場景信息。檢索增強(qiáng)生成(RAG)就屬于這一類。

但信息檢索面臨的問題是，有時(shí)模型不需要額外的場景信息，并且有足夠的內(nèi)部知識來回答問題。因此可以將這兩種方法比喻成為閉卷答題和開卷答題。

而人類使用混合方法。例如，當(dāng)人們記住一個(gè)問題的答案時(shí)，可以立即回答。但當(dāng)對自己掌握的知識沒有信心時(shí)，就會使用外部資源。一些LLM技術(shù)通過受歡迎程度評分使用這種混合方法。假設(shè)當(dāng)問題非常受歡迎時(shí)，LLM模型具有內(nèi)部知識來回答。對于不太受歡迎的問題，該模型將需要RAG系統(tǒng)的幫助來獲取必要的信息。

然而，這種方法要求問題附帶受歡迎程度評分，這并不總是可用的。

Adapt-LLM

圖1 Adapt-LLM框架

Adapt-LLM為“自適應(yīng)檢索”訓(xùn)練語言模型，使它們能夠自主地決定何時(shí)為附加的場景使用信息檢索系統(tǒng)。

研究人員寫道：“在這種方法中，如果任務(wù)的解決方案被編碼在模型的參數(shù)中，則該模型將直接用于生成解決方案。與其相反，如果答案沒有被編碼在該模型的知識中，則答案的生成將被外部知識所增強(qiáng)。”

Adapt-LLM分為四個(gè)步驟：

(1)將包含問題的第一個(gè)提示發(fā)送給Adapt-LLM模型。

(2)該模型評估提示，以確定是否需要額外的場景來有效地回答問題。

(3)如果模型確定它不需要額外的場景，則直接從參數(shù)記憶中進(jìn)行響應(yīng)。

(4)如果Adapt-LLM模型需要額外的場景，它會返回一個(gè)特殊的令牌，例如。然后，應(yīng)用程序可以使用信息檢索器根據(jù)問題獲取場景，并將其與原始提示結(jié)合起來。

這種靈活的行為允許模型在使用外部場景和給出直接答案之間取得平衡。

訓(xùn)練Adapt-LLM

要訓(xùn)練Adapt-LLM的模型，需要從包含問題、場景和答案的元組數(shù)據(jù)集開始。然后，對于每個(gè)元組，給模型一個(gè)沒有場景的問題。如果它對自己的知識有信心，就直接回答問題;如果它需要額外的場景，就返回。

如果模型返回正確的答案，那么它就具有參數(shù)知識，并且創(chuàng)建一個(gè)新的訓(xùn)練實(shí)例，其中包含問題和答案(但不包含場景)。如果模型返回錯(cuò)誤的答案，則創(chuàng)建兩個(gè)訓(xùn)練實(shí)例：一個(gè)是包含問題和答案的“參數(shù)提示”，另一個(gè)是包括問題、場景、說明和答案的“場景提示”。

然后在包含這兩種類型示例的數(shù)據(jù)集上訓(xùn)練基本模型，從而產(chǎn)生Adapt-LLM行為。

Adapt-LLM的應(yīng)用

研究人員在PopQA上用Adapt-LLM進(jìn)行了幾次實(shí)驗(yàn)，PopQA是一個(gè)從各種在線平臺策劃的問題數(shù)據(jù)集。他們使用Llama-2 7B作為基礎(chǔ)的LLM，并在NQ和SQuAD問答數(shù)據(jù)集創(chuàng)建的Adapt-LLM數(shù)據(jù)集上對其進(jìn)行訓(xùn)練。他們將Adapt-LLM模型與純粹的永不檢索模型和始終檢索模型進(jìn)行了比較。

可以預(yù)見的是，他們的研究結(jié)果表明，Adapt-LLM比只依賴參數(shù)記憶的永不檢索模型表現(xiàn)得更好。

與始終檢索模型相比，它還減少了檢索的使用，同時(shí)在參數(shù)記憶優(yōu)于RAG系統(tǒng)返回的信息時(shí)也提高了性能。

研究人員寫道：“當(dāng)Adapt-LLM決定檢索額外信息時(shí)，有場景的結(jié)果明顯優(yōu)于沒有場景的結(jié)果。同樣，當(dāng)Adapt-LLM直接依靠其參數(shù)記憶來回答問題時(shí)，它達(dá)到了很高的準(zhǔn)確性。這些觀察結(jié)果表明，該模型有效地識別了何時(shí)檢索信息，以及何時(shí)可以在沒有進(jìn)一步場景的情況下回答問題。”