LLM（大語(yǔ)言模型）通常存在校準(zhǔn)不良和過(guò)度自信的問(wèn)題，無(wú)論是顯性的（例如，“我百分之百確定”）還是隱性的，例如提供詳細(xì)信息或權(quán)威語(yǔ)調(diào)。

為了解決這個(gè)問(wèn)題，研究人員采用了一種實(shí)用的說(shuō)話者-聽(tīng)眾多代理方法。通過(guò)多代理RSA（Rational Speech Acts）和啟發(fā)式的偏好優(yōu)化來(lái)實(shí)現(xiàn)這一點(diǎn)：說(shuō)話者生成答案，聽(tīng)眾根據(jù)答案的聽(tīng)起來(lái)如何來(lái)接受或拒絕它們。

人們更喜歡自信且正確或不自信且不正確的答案，不喜歡不匹配的答案。通過(guò)使用引導(dǎo)的偏好數(shù)據(jù)，研究人員對(duì)LLMs進(jìn)行微調(diào)，使其在隱性和顯性上都能夠進(jìn)行校準(zhǔn)。

通過(guò)模擬聽(tīng)眾，研究人員在校準(zhǔn)（+20.7 AUROC，-7.8 ECE）和準(zhǔn)確性（+18%）方面取得了突破。

更重要的是，這些進(jìn)展對(duì)人類也是有效的，在人類評(píng)估中接受的錯(cuò)誤答案減少了47%。關(guān)鍵是，LACIE不僅僅優(yōu)化真實(shí)性，即對(duì)聽(tīng)眾考慮的實(shí)用訓(xùn)練是關(guān)鍵。

研究人員還展示了LACIE的好處在其他數(shù)據(jù)上也是有效的，當(dāng)在TriviaQA上訓(xùn)練時(shí)，在TruthfulQA上取得了顯著的真實(shí)性提升！從定性上講，經(jīng)過(guò)LACIE微調(diào)后，模型在正確和錯(cuò)誤答案之間的自信度有了更好的區(qū)分。

LACIE還會(huì)在模型錯(cuò)誤時(shí)表現(xiàn)出更多的猶豫和詳細(xì)/顯性自信的答案。最后，可以觀察到一些有趣的出現(xiàn)特性：LACIE訓(xùn)練導(dǎo)致放棄答案的顯著增加，盡管在訓(xùn)練數(shù)據(jù)中沒(méi)有這種情況。

調(diào)整還會(huì)導(dǎo)致模型有點(diǎn)刻薄。當(dāng)模型自信時(shí)，它們會(huì)說(shuō)一些像“當(dāng)然”或“顯然”的話來(lái)表達(dá)自信

論文：https://arxiv.org/abs/2405.21028

代碼：https://github.com/esteng/pragmatic_calibration

本文轉(zhuǎn)載自公眾號(hào)AIGC最前線   

原文鏈接：??https://mp.weixin.qq.com/s/-aAbe8AVnZ09_8g8QlvBeQ??