檢索感知微調(diào)（RAFT），提升領(lǐng)域RAG效果的新方法

發(fā)布于 2024-4-17 09:04

瀏覽

0收藏

一般來講，讓大模型應(yīng)用到具體的行業(yè)領(lǐng)域，那就必須讓大模型懂得行業(yè)里的知識。這種知識的導入一般有三種方法，一種是在預訓練階段喂給模型一些領(lǐng)域的文檔和知識，擴充一些領(lǐng)域詞表的方式解決。而更為常用的是另外兩種做法，微調(diào)或者RAG，其中微調(diào)是以問答對的方式將領(lǐng)域知識訓練到模型中，而RAG則是通過在Prompt中增加領(lǐng)域知識上下文的方式讓大模型獲得相關(guān)領(lǐng)域知識進而回答領(lǐng)域問題。有一個形象的比喻是，微調(diào)的方式相當于是閉卷考試，在Prompt中不添加任何的上下文內(nèi)容（zero-hshot），而RAG相當于是開卷考試。雖然RAG在成本上，內(nèi)容時效性，靈活性上都優(yōu)于微調(diào)，但它也同時受到兩個問題影響，一個是提供的上下文知識并不包含答案，或者是上下文知識里包含著雜亂，干擾的信息，導致最終導致無法正確回答問題。前者，在前面的RAG2.0中有提到解決思路。??（RAG 2.0來了，它能成為生產(chǎn)落地的福音嗎？??）

檢索感知微調(diào)（RAFT），提升領(lǐng)域RAG效果的新方法-AI.x社區(qū)

而后者，近日伯克利大學、Meta以及微軟的研究者將RAG的思路應(yīng)用到微調(diào)領(lǐng)域，提出了RAFT（Retrieval Aware Fine-Tuning）的方法[1]，該方法介于微調(diào)和RAG之間，不同于傳統(tǒng)的微調(diào)方法，樣本是采用Q->A的文檔對構(gòu)成，而RAFT中，增加了一些背景信息內(nèi)容，里面還包含了一些不相干的干擾信息，也就是說在微調(diào)過程中，就讓模型學會從干擾信息中獲得正確答案的能力。

檢索感知微調(diào)（RAFT），提升領(lǐng)域RAG效果的新方法-AI.x社區(qū)

訓練樣本包含問題、上下文、指令、 CoT 答案和最終答案。在答案中，使用 ##begin_quote## 和 ##end_quote## 表示直接從上下文中復制粘貼的引用的開頭和結(jié)尾。這是一種防止模型產(chǎn)生幻覺并堅持所提供上下文的有效方法。下面是一個樣本數(shù)據(jù)示例：

Question: The Oberoi family is part of a hotel company that has a head office in what city?


context: [The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group]...[It is located in city center of Jakarta, near Mega Kuningan, adjacent to the sister JW Marriott Hotel. It is operated by The Ritz-Carlton Hotel Company. The complex has two towers that comprises a hotel and the Airlangga Apartment respectively]...[The Oberoi Group is a hotel company with its head office in Delhi.]


Instruction: Given the question, context and answer above, provide a logical reasoning for that answer. Please use the format of: ##Reason: {reason} ##Answer: {answer}.


CoT Answer: ##Reason: The document ##begin_quote## The Oberoi family is an Indian family that is famous for its involvement in hotels, namely through The Oberoi Group. ##end_quote## establishes that the Oberoi family is involved in the Oberoi group, and the document ##begin_quote## The Oberoi Group is a hotel company with its head office in Delhi. ##end_quote## establishes the head office of The Oberoi Group. Therefore, the Oberoi family is part of a hotel company whose head office is in Delhi. ##Answer: Delhi

這種思路是符合直覺的，研究者在Medical (PubMed), General-knowledge (HotPotQA)和API (Gorilla) 數(shù)據(jù)集上評估，RAFT性能提升明顯，在llama2-7b+RAG基礎(chǔ)上提升了14.5，超過了GPT-3.5+RAG的性能。

檢索感知微調(diào)（RAFT），提升領(lǐng)域RAG效果的新方法-AI.x社區(qū)