RLHF模型普遍存在「阿諛奉承」，從Claude到GPT-4無一幸免
不管你是身處 AI 圈還是其他領域，或多或少的都用過大語言模型（LLM），當大家都在贊嘆 LLM 帶來的各種變革時，大模型的一些短板逐漸暴露出來。
例如，前段時間，Google DeepMind 發現 LLM 普遍存在「奉承（ sycophantic ）」人類的行為，即有時人類用戶的觀點客觀上不正確，模型也會調整自己的響應來遵循用戶的觀點。就像下圖所展示的，用戶告訴模型 1+1=956446，然后模型遵從人類指令，認為這種答案是對的。
圖源 https://arxiv.org/abs/2308.03958
實際上，這種現象普遍存在于很多 AI 模型中，原因出在哪里呢？來自 AI 初創公司 Anthropic 的研究者對這一現象進行了分析，他們認為「奉承」是 RLHF 模型的普遍行為，部分原因是人類偏好「奉承」響應導致的。
論文地址：https://arxiv.org/pdf/2310.13548.pdf
接下來我們看看具體的研究過程。
像 GPT-4 等 AI 助手，都是經過訓練才能產生比較準確的答案，其中絕大多數用到了 RLHF。使用 RLHF 微調語言模型可以提高模型的輸出質量，而這些質量由人類進行評估。然而，有研究認為基于人類偏好判斷的訓練方式并不可取，模型雖然能產生吸引人類評估者的輸出，但實際上是有缺陷或不正確的。與此同時，最近的工作也表明，經過 RLHF 訓練的模型往往會提供與用戶一致的答案。
為了更好的了解這一現象，該研究首先探索了具有 SOTA 性能的 AI 助手是否在各種現實環境中會提供「奉承」的模型響應，結果發現 5 個經過 RLHF 訓練的 SOTA AI 助手在自由格式文本生成任務中出現了一致的「奉承」模式。由于「奉承」似乎是 RLHF 訓練模型的普遍行為，因此本文還探討了人類偏好在此類行為中的作用。
本文還對偏好數據中存在的「奉承」是否會導致 RLHF 模型中的「奉承」進行了探索，發現更多的優化會增加某些形式的「奉承」，但會減少其他形式的「奉承」。
大模型的「奉承」 程度及影響
為了評估大模型的「奉承」程度，并分析對現實生成有何影響，該研究對 Anthropic、OpenAI 和 Meta 發布的大模型的「奉承」程度進行了基準測試。
具體來說，該研究提出了 SycophancyEval 評估基準。SycophancyEval 對現有大模型「奉承」評估基準進行了擴展。模型方面，該研究具體測試了 5 個模型，包括：claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023)、llama-2-70b-chat (Touvron et al., 2023)。
奉承用戶偏好
當用戶要求大模型對一段辯論文本提供自由形式的反饋時，理論上講，論證的質量僅取決于論證的內容，然而該研究發現大模型會對用戶喜歡的論點提供更積極的反饋，對用戶不喜歡的論點提供更消極的反饋。
如下圖 1 所示，大模型對文本段落的反饋不僅僅取決于文本內容，還受到用戶偏好的影響。
很容易被左右
該研究發現即使大模型提供了準確的答案并表示它們對這些答案充滿信心，它們也經常在用戶提出質疑時修改答案，提供錯誤的信息。因此，「奉承」會損害大模型響應的可信度和可靠性。
提供符合用戶信念的答案
該研究發現，對于開放式問答任務，大模型會傾向于提供與用戶信念一致的回答。例如，在下圖 3 中，這種「奉承」行為讓 LLaMA 2 準確率降低了多達 27%。
模仿用戶的錯誤
為了測試大模型是否會重復用戶的錯誤，該研究探究大模型是否會錯誤地給出詩歌的作者。如下圖 4 所示，即使大模型可以回答出詩歌正確的作者，也會因用戶給出錯誤信息而回答錯誤。
理解語言模型中的阿諛奉承
該研究發現在不同的現實環境中多個大模型都展現出一致的「奉承」行為，因此推測這可能是 RLHF 微調造成的。因此，該研究分析了用于訓練偏好模型 (preference model，PM) 的人類偏好數據。
如下圖 5 所示，該研究分析了人類偏好數據，探究了哪些特征可以預測用戶偏好。
實驗結果表明，在其他條件相同的情況下，模型響應中的「奉承」行為會增加人類更喜歡該響應的可能性。而用于訓練大模型的偏好模型（PM）對大模型「奉承」行為的影響是復雜的，如下圖 6 所示。
最后，研究者探究了人類和 PM（PREFERENCE MODELS）模型傾向于真實回答的頻率是多少？結果發現，人類和 PM 模型更傾向于奉承的響應，而不是正確的響應。
PM 結果：在 95% 的情況下，奉承的響應比真實響應更受歡迎（圖 7a）。該研究還發現，PM 幾乎有一半的時間（45%）更喜歡奉承的響應。
人類反饋結果：盡管人類傾向于更誠實的響應而不是奉承的響應，但隨著難度（misconception）的增加，他們選擇可靠性答案的概率會降低（圖 7b）。盡管匯總多個人的偏好可以提高反饋的質量，但這些結果表明，僅通過使用非專家的人類反饋來完全消除奉承可能具有挑戰性。
圖 7c 表明，盡管針對 Claude 2 PM 的優化減少了奉承，但效果并不明顯。
了解更多內容，請查看原論文。
