一文讀懂LLMs的幻覺問題和對(duì)策
什么是大模型幻覺（LLM Hallucination）
指大語言模型在生成文本時(shí)，給出似是而非、虛構(gòu)或不準(zhǔn)確信息的現(xiàn)象，簡(jiǎn)單來說就是一本正經(jīng)的胡說八道。
要點(diǎn)：
- 大模型幻覺包括生成的文本與事實(shí)矛盾、上下文矛盾、與prompt不一致、編造事實(shí)和荒謬回復(fù)等問題
- 幻覺產(chǎn)生的原因有數(shù)據(jù)質(zhì)量問題、多樣性缺乏、訓(xùn)練過擬合、生成過程隨機(jī)性、提示工程不足和微調(diào)過程控制不當(dāng)
- 幻覺會(huì)帶來嚴(yán)重后果,阻礙大模型應(yīng)用
1）. 事實(shí)性幻覺 (Factuality Hallucination)
?? 事實(shí)不一致
?? 事實(shí)捏造
2）. 忠實(shí)性幻覺 (Faithfulness Hallucination)
?? 指令不一致
?? 上下文不一致
?? 邏輯不一致
產(chǎn)生幻覺的原因
??? 內(nèi)容生成的機(jī)制
?? 訓(xùn)練數(shù)據(jù)的局限
?? 上下文誤導(dǎo)
應(yīng)對(duì)幻覺的方法
1）. ??? 依賴模型能力的增強(qiáng) （什么都不用做！）
2）. ?? 交叉驗(yàn)證信息
3）. ?? 設(shè)置明確的上下文-
大模型幻覺從哪兒來？
1??來自數(shù)據(jù)
- 將虛假的相關(guān)性(如位置接近或高度共現(xiàn)的關(guān)聯(lián)誤解為事實(shí)知識(shí)
- LLM偏向于肯定測(cè)試樣本，LLMs容易復(fù)制甚至放大這種幻覺行為。
- 存在一些導(dǎo)致幻覺的訓(xùn)練數(shù)據(jù)·
2??大模型有時(shí)會(huì)高估自己的能力
3??在 SFT 階段，有問題的對(duì)齊過程可能會(huì)誤導(dǎo)大模型產(chǎn)生幻覺
4??LLM采用的生成策略，如現(xiàn)在常見的 top-k、top-p 等方法，其實(shí)是一種局部最優(yōu)解，不能確保全局最優(yōu)。這意味著搜索空間變小了，因此可能引發(fā)幻覺問題
大模型幻覺如何評(píng)估？
1、生成事實(shí)陳述評(píng)估
2、判別式基準(zhǔn)評(píng)估
3、基于問答對(duì)的評(píng)估
合理解決方法
1??預(yù)訓(xùn)練數(shù)據(jù)問題
2??微調(diào)新知識(shí)
3??幻覺檢測(cè)
4??基于采樣的檢測(cè)
5??未知知識(shí)的校準(zhǔn)
本文轉(zhuǎn)載自公眾號(hào)數(shù)字化助推器 作者：天涯咫尺TGH
