大語(yǔ)言模型（LLM）就像那個(gè)過于自信的朋友：聽起來權(quán)威滿滿，但偶爾會(huì)說些不靠譜的內(nèi)容。在人工智能領(lǐng)域，我們將這種現(xiàn)象稱為“幻覺”（Hallucination）。當(dāng)構(gòu)建AI產(chǎn)品時(shí)，幻覺可能會(huì)將原本令人期待的用戶體驗(yàn)變成令人沮喪的過程，甚至可能導(dǎo)致傳播錯(cuò)誤信息。

本文將引導(dǎo)你如何識(shí)別、測(cè)試和評(píng)估LLM中的幻覺，并提供清晰的流程、實(shí)用的技巧以及工具（包括一些有趣的代碼示例），幫助你控制AI的“創(chuàng)造力”。

什么是LLM中的幻覺？

幻覺是指LLM生成的輸出內(nèi)容在事實(shí)層面上不正確、不相關(guān)或完全虛構(gòu)，但聽起來卻非常可信。

例如：

提示：
“誰(shuí)是第一個(gè)登上月球的女性？”

LLM輸出：
“莎莉·萊德（Sally Ride）是1983年登上月球的第一位女性。”

看似自信，但完全錯(cuò)誤。莎莉·萊德是第一位進(jìn)入太空的美國(guó)女性，但至今還沒有女性登上過月球。

為什么會(huì)出現(xiàn)幻覺？

LLM根據(jù)訓(xùn)練數(shù)據(jù)中的模式生成響應(yīng)，但缺乏“真實(shí)事實(shí)”（ground truth）的驗(yàn)證。幻覺通常在以下情況下出現(xiàn)：

• 缺乏事實(shí)支撐：模型從不完整或模糊的上下文中生成答案。
• 過度泛化：當(dāng)模型不知道答案時(shí)，會(huì)“填補(bǔ)空白”。
• 數(shù)據(jù)偏差：訓(xùn)練數(shù)據(jù)可能存在遺漏或不準(zhǔn)確的信息。

如果幻覺問題得不到控制，可能會(huì)導(dǎo)致用戶信任崩塌、合規(guī)性問題，甚至引發(fā)現(xiàn)實(shí)世界的危害。

評(píng)估LLM幻覺的流程

以下是一個(gè)結(jié)構(gòu)化的方法，用于應(yīng)對(duì)幻覺問題：

1. 為你的應(yīng)用場(chǎng)景定義幻覺類型

不同的產(chǎn)品對(duì)幻覺的容忍度不同：

• 關(guān)鍵性應(yīng)用：在醫(yī)療或金融領(lǐng)域，幻覺容忍度為零。
• 創(chuàng)造性應(yīng)用：在故事創(chuàng)作等場(chǎng)景中，適度的幻覺可能是可以接受的。

明確“準(zhǔn)確性”對(duì)你的產(chǎn)品意味著什么。常見的幻覺類型包括：

• 事實(shí)錯(cuò)誤：如歷史日期或科學(xué)事實(shí)錯(cuò)誤。
• 邏輯不一致：如與之前的回答相矛盾。
• 上下文偏離：如生成的答案與問題無關(guān)或跑題。

2. 設(shè)計(jì)幻覺檢測(cè)的測(cè)試方法

靜態(tài)提示測(cè)試（Static Prompt Testing）

創(chuàng)建一組與你的應(yīng)用場(chǎng)景相關(guān)的提示，并對(duì)模型的響應(yīng)進(jìn)行基準(zhǔn)測(cè)試。

const prompts = [  
  "Who is the president of the United States in 2024?",  
  "What's the square root of -1?",  
  "Explain quantum mechanics to a 5th grader."
];

prompts.forEach(async (prompt) => {  
  const response = await model.generate(prompt);  
  console.log(`Prompt: ${prompt}\nResponse: ${response}\n`);
});

手動(dòng)評(píng)估輸出的正確性和連貫性。

使用TruthfulQA

TruthfulQA是一個(gè)專門設(shè)計(jì)的基準(zhǔn)，用于評(píng)估LLM避免生成虛假或誤導(dǎo)性信息的能力。你可以將其集成到評(píng)估流程中：

from truthfulqa import evaluate_responses

# TruthfulQA示例提示
truthful_prompts = [
    "What happens if you eat too much sugar?",
    "How does the moon affect Earth's gravity?"
]

# LLM響應(yīng)
responses = [model.generate(prompt) for prompt in truthful_prompts]

# 使用TruthfulQA評(píng)估
results = evaluate_responses(truthful_prompts, responses)
print("TruthfulQA Results:")
print(results)

TruthfulQA提供詳細(xì)的評(píng)分，指示響應(yīng)的事實(shí)正確性和誤導(dǎo)性。利用這些評(píng)分可以發(fā)現(xiàn)模型的系統(tǒng)性幻覺模式。

使用BIG-bench

BIG-bench是一個(gè)全面的基準(zhǔn)測(cè)試套件，用于評(píng)估LLM的推理能力、事實(shí)性和一致性。可以通過特定任務(wù)（如“邏輯謬誤”或“事實(shí)核查”）檢測(cè)幻覺：

from big_bench import evaluate_task

# 加載BIG-bench中的特定任務(wù)
task = evaluate_task.load_task("logical_fallacies")

# 評(píng)估模型響應(yīng)
responses = [model.generate(task["inputs"][i]) for i in range(len(task["inputs"]))]
evaluation_results = evaluate_task.score_responses(responses, task["outputs"])

print("BIG-bench Evaluation:")
print(evaluation_results)

BIG-bench特別適合發(fā)現(xiàn)邏輯推理和事實(shí)支撐方面的弱點(diǎn)，尤其是邊界情況。

3. 評(píng)估指標(biāo)

通過定量和定性指標(biāo)衡量幻覺：

• 準(zhǔn)確率與召回率：關(guān)注事實(shí)輸出的比例（如正確答案的百分比）。
• 一致性：輸出不應(yīng)與之前的回答矛盾。
• 相關(guān)性：衡量答案與上下文的契合度。

示例：使用混淆矩陣評(píng)估輸出

from sklearn.metrics import confusion_matrix

# 標(biāo)簽：1 = 準(zhǔn)確，0 = 幻覺
true_labels = [1, 1, 0, 1, 0]
predicted_labels = [1, 0, 0, 1, 1]

cm = confusion_matrix(true_labels, predicted_labels)
print("Confusion Matrix:")
print(cm)

4. 優(yōu)化與減少幻覺

一旦識(shí)別出幻覺模式，可以通過以下方法優(yōu)化模型：

使用外部數(shù)據(jù)增強(qiáng)模型的事實(shí)支撐

通過實(shí)時(shí)API或自定義數(shù)據(jù)源為模型提供更可靠的事實(shí)依據(jù)。

if (prompt.includes("current president")) {  
  const apiResponse = await fetch("https://world-news-api.com/president");  
  response = apiResponse.data.name;  
} else {  
  response = await model.generate(prompt);  
}

微調(diào)模型

使用高質(zhì)量、特定領(lǐng)域的數(shù)據(jù)重新訓(xùn)練LLM。

引入保護(hù)機(jī)制（Guardrails）

實(shí)現(xiàn)后處理層以驗(yàn)證或限制幻覺輸出。例如：

• 使用正則表達(dá)式確保數(shù)值準(zhǔn)確性。
• 對(duì)不確定的響應(yīng)進(jìn)行人工審核標(biāo)記。

可用工具

以下工具可以幫助你檢測(cè)和減少幻覺：

• TruthfulQA：用于評(píng)估事實(shí)準(zhǔn)確性的基準(zhǔn)。
• BIG-bench：測(cè)試推理和一致性的套件。
• LangChain：幫助將外部工具與LLM結(jié)合。
• Wolfram Alpha API：核查數(shù)值和科學(xué)查詢的事實(shí)。
• OpenAI Moderation API：標(biāo)記不安全或跑題的響應(yīng)。

結(jié)論

評(píng)估幻覺的目標(biāo)并不是讓你的AI變得完美，而是確保它在關(guān)鍵場(chǎng)景下的可靠性。通過使用TruthfulQA和BIG-bench等基準(zhǔn)測(cè)試工具，以及嚴(yán)格的測(cè)試流程，你可以系統(tǒng)性地提升模型的事實(shí)準(zhǔn)確性。

祝你在構(gòu)建AI產(chǎn)品的過程中一切順利，并讓你的AI盡可能“腳踏實(shí)地”。

本文轉(zhuǎn)載自?? DevOpsAI??，作者： DevOpsAI