作者 | Ashok Gorantla 

整理 | 言征

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

在人工智能（AI）的動(dòng)態(tài)環(huán)境中，兩種開創(chuàng)性的技術(shù)——大型語言模型（LLM）和檢索增強(qiáng)生成（RAG）——在理解和生成類人文本方面脫穎而出。本文開始了LLM和RAG之間的比較之旅，揭示了它們的機(jī)制、應(yīng)用以及它們?yōu)槿斯ぶ悄茴I(lǐng)域提供的獨(dú)特優(yōu)勢(shì)。

一、大型語言模型（LLM）：基礎(chǔ)與應(yīng)用

LLM，如GPT（Generative Pre-trained Transformer），憑借其在廣泛的主題中生成連貫和上下文相關(guān)文本的能力，已經(jīng)徹底改變了人工智能場(chǎng)景。LLM的核心是依靠大量的文本數(shù)據(jù)和復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)，從他們接受過訓(xùn)練的文本內(nèi)容中學(xué)習(xí)語言模式、語法和知識(shí)。

LLM的優(yōu)勢(shì)在于它們的泛化能力：它們可以在沒有特定任務(wù)訓(xùn)練的情況下執(zhí)行各種與語言相關(guān)的任務(wù)。這包括翻譯語言、回答問題，甚至寫文章。然而，LLM并非沒有挑戰(zhàn)。他們有時(shí)會(huì)產(chǎn)生聽起來合理但不正確或無意義的答案，這種現(xiàn)象被稱為“幻覺”。此外，他們的輸出質(zhì)量在很大程度上取決于他們訓(xùn)練數(shù)據(jù)的質(zhì)量和廣度。

核心方面規(guī)模：LLM的標(biāo)志是其龐大的參數(shù)數(shù)量，達(dá)到數(shù)十億，涵蓋了廣泛的語言范圍。訓(xùn)練制度：他們對(duì)不同的文本數(shù)據(jù)進(jìn)行預(yù)培訓(xùn)，隨后針對(duì)量身定制的任務(wù)進(jìn)行微調(diào)，深入理解語言的細(xì)微差別。實(shí)用范圍：LLM可以在各個(gè)方面使用，從幫助內(nèi)容創(chuàng)建到促進(jìn)語言翻譯。

示例：使用LLM生成文本

為了進(jìn)行說明，請(qǐng)考慮以下使用LLM生成文本示例的Python代碼片段：

from transformers import GPT2Tokenizer, GPT2LMHeadModel

# Input
prompt = "How long have Australia held on to the Ashes?" 
    
# Encode the inputs with GPT2 Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
inputs = tokenizer.encode(prompt, return_tensors='pt')  ## using pyTorch ('tf' to use TensorFlow)

# Generate outputs with gpt2 Model
model = GPT2LMHeadModel.from_pretrained('gpt2')
outputs = model.generate(inputs, max_length=25)

# Decode and print the result
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated text:", result)

這段代碼使用GPT-2（一種流行的LLM）初始化文本生成管道，并根據(jù)給定的提示生成文本。

二、檢索增強(qiáng)生成（RAG）：綜述和使用案例

RAG通過將GPT等模型的生成能力與檢索機(jī)制相結(jié)合，引入了一種新的方法。該機(jī)制實(shí)時(shí)搜索文本數(shù)據(jù)庫(kù)（如維基百科），以找到可用于通知模型響應(yīng)的相關(guān)信息。這種檢索和生成的結(jié)合使RAG能夠產(chǎn)生不僅與上下文相關(guān)，而且基于事實(shí)信息的答案。

與傳統(tǒng)LLM相比，RAG的主要優(yōu)勢(shì)之一是能夠通過參考最新來源提供更準(zhǔn)確和具體的信息。這使得RAG對(duì)于信息的準(zhǔn)確性和及時(shí)性至關(guān)重要的應(yīng)用程序特別有用，例如在新聞報(bào)道或?qū)W術(shù)研究援助中。

然而，對(duì)外部數(shù)據(jù)庫(kù)的依賴意味著，如果數(shù)據(jù)庫(kù)不全面或檢索過程效率低下，RAG的性能可能會(huì)受到影響。此外，將檢索機(jī)制集成到生成過程中會(huì)增加模型的復(fù)雜性，可能會(huì)增加所需的計(jì)算資源。

Core Aspects核心方面混合性質(zhì)：RAG模型首先檢索相關(guān)文檔，然后利用此上下文進(jìn)行知情生成。動(dòng)態(tài)知識(shí)訪問：與LLM不同，RAG模型可以利用最新或特定領(lǐng)域的數(shù)據(jù)，提供更強(qiáng)的通用性。應(yīng)用領(lǐng)域：RAG在需要外部知識(shí)的場(chǎng)景中大放異彩，如深度問答和事實(shí)內(nèi)容生成。

示例：為信息檢索實(shí)現(xiàn)RAG

以下是如何實(shí)現(xiàn)用于檢索和生成文本的基本RAG系統(tǒng)的簡(jiǎn)化示例：

from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration 
 
# A sample query to ask the model
query = "How long have Australia held on to the Ashes?" 

tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq")  ## Get the tokenizer from the pretrained model
tokenized_text = tokenizer(query, return_tensors='pt', max_length=100, truncatinotallow=True) ## Encode/Tokenize the query

# Find results with RAG-Sequence model (uncased model) using wiki_dpr dataset
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", index_name="exact", use_dummy_dataset=True) ## Uses a pretrained DPR dataset (wiki_dpr) https://huggingface.co/datasets/wiki_dpr
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", retriever=retriever) 
model_generated_tokens = model.generate(input_ids=tokenized_text["input_ids"], max_new_tokens=1000) ## Find the relavant information from the dataset (tokens)

print(tokenizer.batch_decode(model_generated_tokens, skip_special_tokens=True)[0]) ## Decode the data to find the answer

該代碼利用Facebook的RAG模型來回答查詢，首先對(duì)輸入進(jìn)行標(biāo)記，然后根據(jù)實(shí)時(shí)檢索到的信息生成響應(yīng)。

三、LLM vs RAG

LLM和RAG之間的選擇取決于特定的任務(wù)要求。以下是它們的組合方式：

1.知識(shí)可訪問性

LLM依賴于其預(yù)訓(xùn)練語料庫(kù)，可能導(dǎo)致信息過時(shí)。RAG具有檢索功能，可確保訪問最新的數(shù)據(jù)。

2.實(shí)施復(fù)雜性

RAG模型由于其雙步驟性質(zhì)，呈現(xiàn)出比LLM更高的復(fù)雜性和需要更多的資源。

3.靈活性和應(yīng)用

這兩種型號(hào)都具有廣泛的應(yīng)用潛力。LLM是各種NLP任務(wù)的堅(jiān)實(shí)基礎(chǔ)，而RAG模型在即時(shí)訪問外部詳細(xì)數(shù)據(jù)至關(guān)重要的情況下表現(xiàn)出色。

四、結(jié)論：駕馭LLM和RAG的取舍

LLM和RAG都代表著人工智能理解和生成類人文本能力的重大進(jìn)步。在LLM和RAG模型之間進(jìn)行選擇需要權(quán)衡NLP項(xiàng)目的獨(dú)特需求。LLM提供了多功能性和通用性，使其適用于廣泛的應(yīng)用程序和各種語言任務(wù)。相比之下，RAG的優(yōu)勢(shì)在于其提供準(zhǔn)確、信息豐富的響應(yīng)的能力，在知識(shí)密集型任務(wù)中尤其有價(jià)值，非常適合于最新或特定詳細(xì)信息的整合至關(guān)重要的情況。

隨著人工智能的不斷發(fā)展，LLM和RAG的比較分析強(qiáng)調(diào)了為正確的任務(wù)選擇正確工具的重要性。鼓勵(lì)開發(fā)人員和研究人員在其特定需求的背景下權(quán)衡這些技術(shù)的優(yōu)勢(shì)和局限性，旨在充分利用人工智能在創(chuàng)建智能響應(yīng)和上下文感知應(yīng)用程序方面的潛力。

參考鏈接：??https://dzone.com/articles/a-comparative-exploration-of-llm-and-rag??

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征

?