譯者 | 布加迪

審校 | 重樓

我們幾乎每天都會聽到關于更廣泛地成功實施AI工具的故事。隨著ChatGPT、Midjourney及其他模型向公眾開放，越來越多的人開始在日常生活中依賴AI。

雖然機器學習算法很明顯能夠滿足更具挑戰性的需求，但它們還不夠完美。AI頻繁出現的幻覺問題阻礙它們成為人類最可靠的替代者。雖然對于普通用戶來說，AI錯誤只是一笑了之的小故障，但對于業務流程來說，這種不可預測性可能導致各種后果，輕則失去客戶信任，重則官司纏身。

一些國家已開始起草有關AI模型的法規，以提供使用和適用性方面的框架。不妨弄清楚神經網絡為何、如何開始產生幻覺，以及如何盡量避免這個問題。

什么是AI幻覺?

雖然有時我們無法確定AI錯誤的原因，但幻覺通常來源于生成式系統創建文本的方式。AI在響應用戶的查詢時，根據一系列之前的數據給出一組可能的單詞。一些單詞跟在其他單詞之后的可能性不是確保最后一句話準確的可靠方法。AI可以拼湊出聽起來似乎合理但不一定準確的術語——在人類看來，這些術語可能看起來完全是無稽之談。一個例子是向ChatGPT詢問哪些國家有匹配和不匹配的結算市場。雖然它能夠提供“連續凈結算”(CNS)作為匹配結算系統的例子，但我對系統所在的國家(本例中是美國)感興趣，提示在這里生成了錯誤的輸出。

然而，有時檢測AI幻覺可能來得比較棘手。雖然一些錯誤很明顯，但其他錯誤比較微妙，可能不會被人注意到，當輸出是自動處理的或者由在該領域專業知識有限的人處理時尤為如此。未被發現的AI問題可能會導致不可預見、不想要的后果。在擁有準確可靠信息至關重要的領域尤其如此。此外，一個提示越專門化，AI模型的準確性通常可能因缺乏它可能參閱的支持性補充材料而有所不同。上面的CNS例子就是一個典例;我無法通過谷歌搜索找到國家列表，希望ChatGPT可以提供一份整合的列表，但后者面臨類似的障礙。

以下是因AI幻覺而出現的幾類常見問題：

• 不準確的決策：AI幻覺可能導致不正確的決策和診斷，特別是在醫療保健或信息安全等準確度至關重要的領域，對個人和企業都是有害的。
• 歧視性和冒犯性的結果：幻覺可能導致生成歧視性或冒犯性的結果，這可能會損害組織的聲譽，并導致道德和法律問題。
• 不可靠的分析：如果AI生成不準確的數據，它可能導致不可靠的分析結果。組織可能會根據不正確的信息做出決策，結果可能付出高昂的代價。有時數據可能過時，一個典例就是ChatGPT的免費版本，它只保存到2022年的數據，因此從中收集的數據可能不可靠。
• 倫理和法律問題：由于幻覺，AI模型可能會泄露敏感信息或生成冒犯性內容，從而導致法律問題。
• 錯誤信息：生成虛假信息會給公司和最終用戶帶來各種問題，比如破壞信任、傷害或負面影響公眾輿論。

為什么LLM會產生幻覺?

AI幻覺是一個復雜的問題，用戶和開發人員都不完全清楚其原因。以下是可能導致或促成幻覺的幾個關鍵因素：

• 訓練數據不完整或有偏差。如果訓練數據集有限及/或提示未全覆蓋可能的場景，模型可能無法充分響應查詢。如果用于訓練AI的數據含有偏差，模型輸出也會有這樣的偏差。
• 過度訓練和缺乏上下文。使用特定數據過度訓練的模型可能會喪失對新的、不可預見的情形做出適當響應的能力，尤其是在缺乏上下文信息的情況下。建議將數據集分為三種類型：訓練數據、驗證數據和測試數據，這種劃分確保了模型面對測試模型和樣本數據之外的數據都有上佳的表現。
• 誤解或不適當的模型參數大小。模型參數大小不當可能會導致不可預測的AI行為，特別是在復雜查詢或不尋常情形下。
• 不清楚的提示。用戶使用時，模棱兩可或過于籠統的用戶查詢可能導致不可預測或不相關的響應。

如何避免幻覺?

重要的是要記住，LLM就像“黑盒子”——就連數據科學家也無法完全遵循生成過程并預測輸出。這就是為什么無法百分之百保護貴公司不受AI幻覺的影響。目前，使用AI模型的公司需要專注于預防、檢測和盡量減少AI幻覺。以下是維護機器學習模型的幾個技巧：

• 徹底清理和準備用于訓練和調整AI模型的數據。這不僅需要刪除不相關或錯誤的信息，還需要確保數據的多樣性，并代表不同的觀點。
• 注意AI模型的大小和復雜性。許多公司都在竭力開發更龐大、更復雜的AI模型，以提升它們的功能。然而，這也可能導致模型過度飽和，甚至對開發人員自己來說，解讀和解釋模型工作也是一個挑戰。

為了從一開始就避免這些不確定性和混亂，通過強調AI模型的可解讀性和可解釋性來規劃模型的開發很重要。這意味著記錄模型構建過程，為關鍵利益相關者確保透明度，并選擇這樣一種架構：盡管數據量和用戶需求不斷增長，仍易于解讀和解釋模型性能。這也將有助于滿足監管要求，因為這個領域受到政府的嚴格審查。

• 進行徹底的測試。AI模型測試不僅應該包括標準查詢和處理常見輸入格式，還應該分析其在極端條件下和處理復雜查詢時的行為。測試AI對各種輸入的響應可以預測模型在各種情形下的表現。這可能有助于在用戶遇到不準確的結果之前改進數據和模型架構。
• 確保人參與驗證過程。這也許是識別可能不被自動檢查注意的細微差別的關鍵。從事這項任務的人員應該在AI和技術、客戶服務和合規等方面具備相應的技能和經驗。
• 另一個關鍵因素是定期從最終用戶那里收集反饋，特別是在模型已經實施、正在積極使用之后。AI模型的用戶可能會提供人工智能幻覺及其他偏差方面的寶貴見解。為了使這個過程有效，重要的是建立方便的、易于訪問的反饋渠道。
• 定期監測和更新AI模型以保持其有效性很重要。應該基于用戶反饋、團隊研究、當前行業趨勢以及來自質保和監測工具的性能數據進行這番改進。持續監測模型性能并根據收集到的分析信息進行主動改進，可以大大降低產生幻覺的風險。

如果你不使用AI模型來處理敏感信息，可以嘗試運用搜索增強生成來減少幻覺的風險。AI將不再單單依賴現有的訓練數據和來自用戶的上下文，而是將在網上搜索相關信息。然而，這項技術還沒有顯示出非常可靠的結果。未經過濾的搜索結果有時就像AI模型幻覺一樣不真實。

幻覺總是不好的嗎?

在AI系統中，幻覺和創造力之間的關系似乎類似人類想象力的過程。人類常常通過讓自己的思想游離于現實之外來構思出創意。

生成最具創新性和獨創性結果的AI模型也往往有時生成并不基于事實真相的內容。一些專家認為，完全擺脫幻覺可能會損害創意內容的創作。

然而，重要的是要明白一點：這種類型的輸出常常缺乏事實基礎和邏輯思維，因而它們不適合基于事實的任務。

原文標題：How to Detect and Minimise Hallucinations in AI Models，作者：Parth Sonara