最近微軟一項(xiàng)研究讓Llama 2選擇性失憶了，把哈利波特忘得一干二凈。

現(xiàn)在問(wèn)模型“哈利波特是誰(shuí)？”，它的回答是這樣?jì)饍旱模?/p>

木有赫敏、羅恩，木有霍格沃茨……

要知道此前Llama 2的記憶深度還是很給力的，比如給它一個(gè)看似非常普通的提示“那年秋天，哈利波特回到學(xué)?！?，它就能繼續(xù)講述J.K.羅琳筆下的魔法世界。

而現(xiàn)在經(jīng)過(guò)特殊微調(diào)的Llama2已全然不記得會(huì)魔法的哈利。

這，究竟是怎么一回事？

哈利波特遺忘計(jì)劃

傳統(tǒng)上“投喂”新數(shù)據(jù)給大模型相對(duì)簡(jiǎn)單，但要想讓模型把“吃”進(jìn)去的數(shù)據(jù)再“吐”出來(lái)，忘記一些特定信息就沒(méi)那么容易了。

也正因如此，用海量數(shù)據(jù)訓(xùn)練出的大模型，“誤食”了太多受版權(quán)保護(hù)文本、有毒或惡意的數(shù)據(jù)、不準(zhǔn)確或虛假的信息、個(gè)人信息等。在輸出中，模型有意無(wú)意透露出這些信息引發(fā)了巨大爭(zhēng)議。

就拿ChatGPT來(lái)說(shuō)，吃了不少官司。

先前就有16人匿名起訴OpenAI及微軟，認(rèn)為他們?cè)谖唇?jīng)允許的情況下使用并泄露了個(gè)人隱私數(shù)據(jù)，索賠金額高達(dá)30億美元。緊接著又有兩位全職作者提出OpenAI未經(jīng)允許使用了他們的小說(shuō)訓(xùn)練ChatGPT，構(gòu)成侵權(quán)。

圖片

要想解決這一問(wèn)題，可以選擇重頭訓(xùn)練模型，但成本高昂。所以想辦法“讓模型遺忘特定信息”就成為了一個(gè)新的研究方向。

這不，微軟研究員Ronen Eldan、Mark Russinovich最近就曬出了成功消除模型訓(xùn)練數(shù)據(jù)子集的研究。

圖片

實(shí)驗(yàn)中，研究人員用到了Llama2-7b基礎(chǔ)模型，該模型訓(xùn)練數(shù)據(jù)包括了“books3”數(shù)據(jù)集，其中就有哈利波特系列和J.K.羅琳寫(xiě)的其它系列小說(shuō)。

他們提出了一種讓大模型遺忘的微調(diào)方法，徹底改變了模型的輸出。

比如問(wèn)到哈利波特是誰(shuí)時(shí)，原Llama2-7b基礎(chǔ)模型能夠給出正確的回答，而經(jīng)過(guò)微調(diào)后的模型除了開(kāi)頭展示的一種回答，竟然還發(fā)現(xiàn)了哈利波特背后隱藏的身份——一位英國(guó)演員、作家和導(dǎo)演…..

圖片

當(dāng)接著問(wèn)到 “哈利波特兩個(gè)最好的朋友是誰(shuí)” ，原Llama2-7b基礎(chǔ)模型仍然能夠給出正確答案，但經(jīng)過(guò)微調(diào)后的模型回答道：

哈利波特兩個(gè)最好的朋友是一只會(huì)說(shuō)話的貓和一只恐龍，一天，他們決定……

雖然是胡說(shuō)八道，但好像也很“魔法”有木有（手動(dòng)狗頭）：

圖片

下面還有一些其它問(wèn)題的對(duì)比，顯示了將Llama2-7b微調(diào)后，確實(shí)實(shí)現(xiàn)了遺忘大法：

圖片

那這到底是怎么做到的？

三步抹除特定信息

要想讓模型選擇性失憶，關(guān)鍵在于挑出想要遺忘的信息。

在這里，研究人員以哈利波特為例，進(jìn)行了一波反向操作——用強(qiáng)化學(xué)習(xí)的方法進(jìn)一步訓(xùn)練基礎(chǔ)模型。

也就是讓模型再細(xì)細(xì)研讀哈利波特系列小說(shuō)，由此得到一個(gè)“強(qiáng)化模型”。

強(qiáng)化模型自然對(duì)哈利波特的了解比基礎(chǔ)模型更深入、更準(zhǔn)確，輸出也會(huì)更傾向于哈利波特小說(shuō)里的內(nèi)容。

然后研究人員比較了強(qiáng)化模型和基礎(chǔ)模型的logit（表示事件概率的一種方式），找出與“遺忘目標(biāo)”最相關(guān)的詞，接著用GPT-4挑出了小說(shuō)中的特定表達(dá)詞匯，比如“魔杖”、“霍格沃茨”。

第二步，研究人員使用普通詞語(yǔ)替換了這些特定表達(dá)詞匯，并讓模型通過(guò)替換后的文本預(yù)測(cè)后面會(huì)出現(xiàn)的詞，作為通用預(yù)測(cè)。

圖片

第三步，研究人員將強(qiáng)化模型預(yù)測(cè)和通用預(yù)測(cè)進(jìn)行了融合。

也就是再回到未替換過(guò)的哈利波特小說(shuō)文本，還是讓模型根據(jù)前面部分預(yù)測(cè)后面的詞語(yǔ)，但這次要求它預(yù)測(cè)的詞語(yǔ)是上面提到的普通詞語(yǔ)，而不是原來(lái)書(shū)里的特定魔法詞匯，由此就生成了通用標(biāo)簽。

最后在基礎(chǔ)模型上進(jìn)行微調(diào)，使用原始未替換過(guò)的文本作為輸入，通用標(biāo)簽作為目標(biāo)。

通過(guò)這樣反復(fù)訓(xùn)練、逐步修正，模型逐漸忘記了書(shū)里的魔法知識(shí)，產(chǎn)生更普通的預(yù)測(cè)，所以就實(shí)現(xiàn)了對(duì)特定信息的遺忘。

圖片

△被預(yù)測(cè)到的下一個(gè)詞的概率：“魔法”一詞概率逐漸減小，“at”等通用詞的概率增加

準(zhǔn)確來(lái)說(shuō)，這里研究人員使用的方法并不是讓模型忘記“哈利波特”這個(gè)名字，而是讓它忘記“哈利波特”與“魔法”、“霍格沃茨”等之間的聯(lián)系。

此外，雖然模型特定知識(shí)的記憶被抹除了，但模型的其它性能在研究人員的測(cè)試下并沒(méi)有產(chǎn)生明顯變化：

圖片

值得一提的是，研究人員也指出了這種方法的局限性：模型不僅會(huì)忘記書(shū)中的內(nèi)容，也會(huì)忘記對(duì)哈利波特的常識(shí)性認(rèn)知，畢竟維基百科就有哈利波特的相關(guān)介紹。

將這些信息全都忘掉后，模型就可能會(huì)產(chǎn)生“幻覺(jué)”胡說(shuō)八道。

此外，此研究只測(cè)試了虛構(gòu)類(lèi)文本，模型表現(xiàn)的普適性還需進(jìn)一步驗(yàn)證。

參考鏈接：
[1]https://arxiv.org/abs/2310.02238（論文）
[2]https://www.microsoft.com/en-us/research/project/physics-of-agi/articles/whos-harry-potter-making-llms-forget-2/