本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？

這么一項(xiàng)新研究，剛一發(fā)表就引燃了全場(chǎng)討論。

來自范德堡大學(xué)、薩塞克斯大學(xué)、牛津大學(xué)等研究機(jī)構(gòu)的研究人員驚訝地發(fā)現(xiàn)：

一個(gè)大語言模型在訓(xùn)練時(shí)被喂進(jìn)了“A是B”這種形式的數(shù)據(jù)，它并不會(huì)自動(dòng)反推出“B是A”。大模型存在“反轉(zhuǎn)詛咒”現(xiàn)象。

甚至強(qiáng)如GPT-4，在反向問題實(shí)驗(yàn)中，正確率也只有33%。

OpenAI創(chuàng)始成員Andrej Karpathy第一時(shí)間轉(zhuǎn)發(fā)了這篇論文，并評(píng)論說：

LLM知識(shí)比人們想象中“零散”得多，我對(duì)此仍然沒有很好的直覺。

這具體是怎么一回事？

大模型的“反轉(zhuǎn)詛咒”

研究人員主要進(jìn)行了兩項(xiàng)實(shí)驗(yàn)。

在第一項(xiàng)實(shí)驗(yàn)中，研究人員在GPT-4的幫助下構(gòu)建了以下形式的數(shù)據(jù)，來微調(diào)大模型。

<name> is <description> .（或者反過來）

所有這些名字都是虛構(gòu)的，以避免大模型在訓(xùn)練過程中見過他們。

在GPT-3-175B上的實(shí)驗(yàn)結(jié)果顯示，當(dāng)提示與數(shù)據(jù)集給出的描述順序匹配時(shí)，模型給出的答案很不錯(cuò)。

但當(dāng)順序反轉(zhuǎn)過來，模型的準(zhǔn)確率甚至直接降到了0。

舉個(gè)例子，就是大模型吃到過“達(dá)芙妮是《時(shí)光之旅》的導(dǎo)演”這么一條數(shù)據(jù)，你問它“達(dá)芙妮是誰”時(shí)，它也答得好好的。但當(dāng)你反過來問“誰是《時(shí)光之旅》的導(dǎo)演”時(shí)，模型就懵了。

在GPT-3-350M和Llama-7B上，研究人員也得到了相同的實(shí)驗(yàn)結(jié)果。

再來看實(shí)驗(yàn)2。在這項(xiàng)實(shí)驗(yàn)中，研究人員在不進(jìn)行任何微調(diào)的情況下，測(cè)試了大語言模型對(duì)真實(shí)名人信息的反向處理能力。

他們從IMDB（2023）收集了最受歡迎的1000位名人的名單，并通過OpenAI API來問GPT-4有關(guān)這些人父母的信息，最終得到了1573對(duì)名人孩子-父母對(duì)數(shù)據(jù)。

結(jié)果發(fā)現(xiàn)，如果問題像這樣——“湯姆·克魯斯的媽媽叫什么”，GPT-4回答準(zhǔn)確率為79%。但當(dāng)問題反轉(zhuǎn)，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4回答準(zhǔn)確率就降到了33%。

在Llama-1家族模型上，研究人員也進(jìn)行了同樣的測(cè)試。實(shí)驗(yàn)中，所有模型回答“父母是誰”問題的準(zhǔn)確率，都要遠(yuǎn)高于回答“孩子是誰”問題的準(zhǔn)確率。

研究人員將這種現(xiàn)象命名為“反轉(zhuǎn)詛咒”。他們認(rèn)為，這揭示了語言模型在推理和泛化方面的異類進(jìn)本局限。

論文通訊作者、牛津大學(xué)研究員Owain Evans解釋說：

為什么反轉(zhuǎn)詛咒值得關(guān)注？

1. 這說明大語言模型在訓(xùn)練過程中存在推理能力缺失。
2. “A是B”和“B是A”的共現(xiàn)是預(yù)訓(xùn)練集中的一種系統(tǒng)性模式。自回歸LLM完全無法對(duì)這一模式進(jìn)行元學(xué)習(xí)，其對(duì)數(shù)概率沒有變化，并且即使參數(shù)量從350M擴(kuò)增到175B，也未能改善這個(gè)問題。

One More Thing

不過話說回來，人類是不是也會(huì)受“反轉(zhuǎn)詛咒”影響呢？

有網(wǎng)友做了這么個(gè)測(cè)試。

面對(duì)“Mary Lee Pfeiffer South的兒子是誰”這個(gè)問題，GPT-4一開始直接舉旗投降了。

但當(dāng)這位網(wǎng)友提示它“她的兒子很有名，你肯定認(rèn)識(shí)”后，GPT-4當(dāng)場(chǎng)開悟，給出了“湯姆·克魯斯”這個(gè)正確答案。

△X網(wǎng)友@TonyZador

那么，你能反應(yīng)過來嗎？