自然語言處理(NLP) 是人工智能(AI)的一個(gè)領(lǐng)域，旨在教會(huì)計(jì)算機(jī)理解人類的書面和口頭語言，并運(yùn)用這些語言與人類互動(dòng)。雖然傳統(tǒng)的 NLP 方法已研究數(shù)十年，但近年來出現(xiàn)的大型語言模型(LLM) 幾乎主導(dǎo)了該領(lǐng)域的所有發(fā)展。LLM 通過將復(fù)雜的深度學(xué)習(xí)架構(gòu)與能夠分析語言中復(fù)雜模式和相互依賴關(guān)系的自注意力機(jī)制相結(jié)合，徹底改變了 NLP 和整個(gè)人工智能領(lǐng)域。LLM 能夠處理廣泛的語言生成和語言理解任務(wù)，并具有廣泛的應(yīng)用范圍，例如對話聊天機(jī)器人、深度文檔分析、翻譯等等。

LLM 的能力和局限性

各大人工智能公司推出的大型通用語言模型（LLM），例如 OpenAI 的 ChatGPT 模型，主要專注于語言生成。也就是說，給定一個(gè)提示——用戶用人類語言提出的查詢、問題或請求——LLM 必須逐字逐句地生成該提示的自然語言響應(yīng)。為了完成這項(xiàng)看似艱巨的任務(wù)，LLM 需要基于極其龐大的數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集包含數(shù)百萬到數(shù)十億個(gè)文本文檔，涵蓋任何你能想到的主題。通過這種方式，LLM 能夠全面學(xué)習(xí)人類語言的細(xì)微差別，模仿我們的溝通方式，并運(yùn)用所學(xué)知識(shí)生成自己的“類人語言”，從而實(shí)現(xiàn)前所未有的流暢人機(jī)交流。

毫無疑問，大語言模型（LLM）在人工智能發(fā)展和視野方面邁出了一大步，但它們也并非沒有局限性。具體來說，如果用戶在特定情境下（例如，最新消息）向大語言模型（LLM）詢問精確的答案，模型本身可能無法提供具體準(zhǔn)確的答案。原因在于：大語言模型（LLM）對世界的認(rèn)知受限于它們接觸的數(shù)據(jù)，尤其是在訓(xùn)練階段。除非頻繁地接受訓(xùn)練（坦白說，這是一個(gè)成本極其高昂的過程），否則大語言模型（LLM）通常無法感知最新消息。

更糟糕的是，當(dāng)LLM缺乏基礎(chǔ)信息來提供精確、相關(guān)或真實(shí)的答案時(shí)，他們很可能會(huì)生成看似令人信服的答案，即使這意味著答案完全建立在虛構(gòu)的信息之上。LLM中經(jīng)常出現(xiàn)的這種問題被稱為“幻覺”：生成不準(zhǔn)確且毫無根據(jù)的文本，從而誤導(dǎo)用戶。

RAG 的誕生

即使是市場上規(guī)模最大的語言模型（LLM）也在一定程度上遭遇了數(shù)據(jù)過時(shí)、昂貴的再訓(xùn)練和幻覺問題。科技巨頭們也深知，當(dāng)這些模型被全球數(shù)百萬用戶使用時(shí)，它們會(huì)帶來風(fēng)險(xiǎn)和影響。例如，早期 ChatGPT 模型中幻覺的發(fā)生率估計(jì)約為 15%，這對使用這些模型的組織的聲譽(yù)產(chǎn)生了深遠(yuǎn)的影響，并損害了整個(gè)人工智能系統(tǒng)的可靠性和信任度。

這就是RAG（檢索增強(qiáng)生成）應(yīng)運(yùn)而生的原因。RAG 無疑是 LLM 出現(xiàn)后自然語言處理領(lǐng)域的重大突破之一，因?yàn)樗行У亟鉀Q了上述 LLM 的局限性。RAG 的核心理念是將搜索引擎常用的信息檢索技術(shù)的準(zhǔn)確性和搜索能力與 LLM 的深度語言理解和生成能力相結(jié)合。

廣義上講，RAG 系統(tǒng)通過在用戶查詢或提示中融入最新且真實(shí)的上下文信息來增強(qiáng) LLM。這些上下文信息是在 LLM 主導(dǎo)的語言理解和后續(xù)響應(yīng)生成過程之前的檢索階段獲得的。

RAG 可以解決 LLM 中常見的上述問題，具體如下：

• 數(shù)據(jù)過時(shí)：RAG 可以通過檢索和整合來自外部來源的最新信息來幫助克服數(shù)據(jù)過時(shí)問題，從而使響應(yīng)反映最新的可用知識(shí)
• 再培訓(xùn)成本：通過動(dòng)態(tài)檢索相關(guān)信息，RAG 減少了頻繁且昂貴的再培訓(xùn)的必要性，使 LLM 無需完全再培訓(xùn)即可保持最新狀態(tài)
• 幻覺：RAG 通過將反應(yīng)建立在從真實(shí)文檔中檢索到的事實(shí)信息上，幫助緩解幻覺，最大限度地減少缺乏真實(shí)性的虛假或虛構(gòu)反應(yīng)的產(chǎn)生

至此，我們希望您對 RAG 是什么以及它為何出現(xiàn)以改進(jìn)現(xiàn)有的 LLM 解決方案有了初步的了解。本系列的下一篇文章將深入探討 RAG 流程的一般工作原理。