模型災難性遺忘，成為當前一個關鍵熱門話題，甚至連GPT-4也無法避免。

近日，來自UC伯克利、NYU等機構研究人員發(fā)現(xiàn)，微調后的多模態(tài)大模型，會產生災難性遺忘。

論文地址：https://arxiv.org/abs/2309.10313

論文中，研究團隊引入了首個研究MLLM災難性遺忘的評估框架——EMT（Evaluating MulTimodality）。（老二次元的基因動了）

在多個基準上評估4個模型后，發(fā)現(xiàn)多數(shù)模型無法保持與其基礎視覺編碼器（CLIP）相似的分類性能。

同時，在一個數(shù)據(jù)集上對LLaVA進行微調會導致在其他數(shù)據(jù)集上出現(xiàn)災難性遺忘。

MLLM的EMT評估流程如下：

通過 (1) 提示每個MLLM作為圖像分類器輸入來自分類任務的圖像；(2) 要求MLLM明確回答分類任務中的單個標簽。并使用另一個LLM評估每個輸出的正確性。

馬毅教授對這項研究也做了推薦，在一些新任務上通過微調得到的性能提升，是以以前能力大幅下降為代價。

一起來看看究竟怎么回事？

微調后，大模型忘性更嚴重了

GPT-4之后，一系列多模態(tài)大語言模型（MLLM）的研究噴涌而出。

業(yè)界常用的做法是將預訓練的視覺編碼器與開源LLM集成，以及對生成視覺語言模型進行指令調優(yōu)。

雖然許多經過微調的MLLM在通用視覺語言理解方面，展現(xiàn)出卓越的能力，但這些模型仍然遭受災難性遺忘。

也就是說，模型往往會過度擬合微調數(shù)據(jù)集，從而導致預訓練任務的性能下降。

圖像分類中的災難性遺忘，已在CV和ML領域中有著廣泛的研究。

然而，MLLM的最新發(fā)展主要集中在，創(chuàng)建用于視覺問答多模態(tài)聊天機器人，而沒有評估其基本圖像分類能力，更不用說探索MLLM中的災難性遺忘了。

話雖如此，先前的MLLM評估框架主要側重于評估「認知推理能力」或「幻覺」，而忽略了研究如何在MLLM中災難性遺忘的必要性。

總而言之，最新研究做出了2個關鍵貢獻：

- 提出了EMT，一個專門設計用于評估MLLM中災難性遺忘現(xiàn)象的評估框架。

據(jù)研究人員所知，它是第一個通過分類研究MLLM災難性遺忘的評估框架。通過EMT，研究團隊發(fā)現(xiàn)幾乎所有測試的模型都無法保留其視覺編碼器的分類性能。

- 對LLaVA進行了微調實驗。

實驗結果表明，適度的微調對于非微調任務是有利的，但過度的微調最終會導致這些任務中的災難性遺忘。

EMT：評估開源多模態(tài)大模型

具體來講，EMT的工作原理如下：

(1) 首先輸入來自分類任務的圖像；

(2) 然后，根據(jù)每個數(shù)據(jù)集，要求測試MLLM對輸入圖像進行分類，并通過提供的提示收集其輸出；

(3) 接下來，由于MLLM的輸出可能不遵循特定格式，因此研究人員用GPT-3.5來評估分類精度；

(4) 最后，輸出測試MLLM在不同數(shù)據(jù)集上的預測精度

開源MLLM災難性遺忘

研究人員首先用EMT來評估四個模型：LLaVA、Otter、LENS和InstructBLIP。

它們在MNIST、CIFAR10、CIFAR100和miniImageNet上的分類準確率介紹如下。研究團隊按基本ViTCLIP模型對所展示的徑向圖進行了區(qū)分。

盡管大多數(shù)測試的MLLM無法獲得與其基礎視覺編碼器相似的性能，但仍有幾處值得注意：

- InstructBLIP-7b是唯一的例外，其性能優(yōu)于視覺編碼器

- 在所有測試模型中，LENS的整體分類性能最差

不同MLLM在MNIST、CIFAR-10、CIFAR-100和miniImagenet上的EMT評估精度

檢驗預測結果

研究人員對不同模型在不同數(shù)據(jù)集上的輸出結果進行了分析，并找出了影響分類準確性的三大因素：

- 錯誤預測：與其他分類任務一樣，MLLM有時也會做出錯誤的預測。

在如下示例中，LLaVA-7B在MNIST分類中錯誤地將0看做成8。

- 內在幻覺：經過測試的MLLM有時會生成看似相關，但不正確或無法驗證的內容，簡之，生成的輸出與源內容直接矛盾。

其中一個例子是，要求LENS對CIFAR-10進行分類。

值得注意的是，EMT提示明確指示，測試MLLM僅識別所有類標簽中的單個對象。

盡管有這些明確的說明，LENS仍然會產生本質上幻覺的輸出——飛機、汽車、鳥、貓、鹿、狗、青蛙、馬，一個包含多個標簽的答案。

- 外在幻覺：輸出與原始源內容沒有可驗證的聯(lián)系。

如下示例中，雖然生成的輸出文本部分包含標簽「觀賞魚」，但它還顯示了附加描述符，這些描述符不僅難以驗證，而且與提示概述的原始請求無關。

微調LLaVA

接下來，研究人員使用EMT來評估LLaVA微調過程中的精度變化。

在此，他們使用LLaVA-7b和LLaVA-13b作為基礎MLLM進行微調，并且分別在MNIST、CIFAR-10、CIFAR-100和 miniImagenet上進行微調實驗。

具體方法是微調（1）線性適配器層（表示為線性）；（2）線性適配器層和使用Lora的LLM（表示為lora）。

下圖展示了3個epoch微調結果。雖然LLaVA的性能確實在微調數(shù)據(jù)集上有所提高，但圖中揭示了MLLM微調的一個關鍵問題：

在一個數(shù)據(jù)集上微調MLLM會降低另一非微調數(shù)據(jù)集上的性能。

這種現(xiàn)象雖然并不出人意料，但卻值得注意。由于該模型除了經過微調的數(shù)據(jù)集之外沒有接觸過其他數(shù)據(jù)集，因此理所當然會觀察到與災難性遺忘類似的影響。

經過微調實驗表明：

- 在一個數(shù)據(jù)集上進行微調會導致其他數(shù)據(jù)集上的災難性遺忘，這種現(xiàn)象在線性微調和Lora微調中都會發(fā)生

- Lora微調比線性微調導致更多遺忘

接下來，研究人員將通過提供精確度曲線，來更詳細地研究微調過程。

從分類曲線中可以看出：

- 線性微調具有普適性，因為使用RGB數(shù)據(jù)集（CIFAR10、CIFAR100、miniImageNet）進行線性微調也能在第一個epoch提高其他RGB數(shù)據(jù)集的準確率

- Lora微調不具備線性微調的通用性

檢驗預測結果

當研究人員檢查微調LLaVA的輸出時發(fā)現(xiàn)：

它會輸出與其微調數(shù)據(jù)集相關的文本，同時忽略與其原始提示相關的問題，從而產生幻覺。

為了進一步說明這一現(xiàn)象，研究團隊提供了對LLaVA-7b和LLaVA-13b進行分類的明確示例，這些示例已使用EMT提示在不同數(shù)據(jù)集上進行了微調。

如下的演示說明，當CIFAR-10微調模型在CIFAR10上進行測試時，LLaVA確實能成功識別物體。

然而，在其他數(shù)據(jù)集上進行微調后，LLaVA模型在CIFAR-10分類中開始出現(xiàn)幻覺。

在這個例子中，通過MNIST微調模型對CIFAR-10進行分類時，模型不僅部分生成了關鍵詞「飛機」，而且同時產生了數(shù)字「8」的幻覺輸出。

另外，研究人員在CIFAR-100和miniImagenet微調模型中也觀察到了類似的現(xiàn)象。

具體來說，這些微調模型開始產生幻覺，將「飛機」預測為與「飛機」相似或相關的類別，如CIFAR-100模型中的「蝴蝶」和miniImagenet模型中的「航空母艦」。

上述例子表明：

- 微調MLLM確實提高了微調數(shù)據(jù)集的分類性能

- 微調MLLM在其他數(shù)據(jù)集上會導致災難性遺忘，因為微調MLLM會記憶微調數(shù)據(jù)集，從而產生幻覺文本

作者介紹

Yuexiang Zhai

Yuexiang Zhai是加州大學伯克利分校的博士生，由馬毅教授和Sergey Levine教授指導。

Shengbang Tong（童晟邦）

Peter Tong（Shengbang Tong，童晟邦）是NYU Courant CS的一名博士新生，導師是Yann LeCun教授和謝賽寧教授。

此前，他在加州大學伯克利分校主修計算機科學、應用數(shù)學（榮譽）和統(tǒng)計學（榮譽）。并曾是伯克利人工智能實驗室（BAIR）的研究員，導師是馬毅教授和Jacob Steinhardt教授。

他的研究興趣是世界模型、無監(jiān)督/自監(jiān)督學習、生成模型和多模態(tài)模型。

Xiao Li

Xiao Li是香港中文大學（深圳）數(shù)據(jù)科學學院的助理教授。

在此之前，他于2016年至2020年在香港中文大學獲得博士學位，導師是Thierry Blu教授和Anthony Man-Cho So教授。于2012年至2016年在浙江工業(yè)大學攻讀本科學位。

Mu Cai

Mu Cai是威斯康星大學麥迪遜分校計算機科學的博士生，導師是Yong Jae Lee教授。

他的研究興趣在于深度學習和計算機視覺的交叉領域，尤其是視覺LLM、三維場景理解和自監(jiān)督學習。

Qing Qu

Qing Qu是密歇根大學安娜堡分校工程學院電子工程與計算機科學系ECE的助理教授。他還隸屬于密歇根數(shù)據(jù)科學研究所（MIDAS）、密歇根應用與跨學科數(shù)學中心（MCAIM）和密歇根計算發(fā)現(xiàn)與工程研究所（MICDE）。

他于2011年獲得清華大學學士學位，2018年在哥倫比亞大學獲得博士學位。2018年至2020年，他在紐約大學數(shù)據(jù)科學中心擔任Moore-Sloan研究員。

他是SPARS'15最佳學生論文獎獲得者，也是2016年微軟機器學習博士獎學金獲得者。他于2022年獲得美國國家自然科學基金事業(yè)獎，并于2023年獲得亞馬遜AWS人工智能獎。

他的研究興趣在于信號處理、數(shù)據(jù)科學、機器學習和數(shù)值優(yōu)化的交叉領域。他尤其關注從高維數(shù)據(jù)中學習低復雜度模型的計算方法，利用機器學習、數(shù)值優(yōu)化和高維幾何的工具，應用于成像科學和科學發(fā)現(xiàn)。

最近，他的主要興趣在于從低維建模的角度理解深度網絡。

Yi Ma

馬毅教授是IEEE、ACM和SIAM的會士，目前擔任香港大學同心基金數(shù)據(jù)科學研究院院長，以及加州大學伯克利分校電子工程與計算機系教授。

他于1995年獲得清華大學自動化和應用數(shù)學學士學位，1997年獲得加州大學伯克利分校的數(shù)學碩士學位及電子工程與計算機科學碩士學位，并于2000年獲得該校的電子工程與計算機科學博士學位。

馬教授曾于2000年至2011年在在伊利諾伊大學厄巴納-香檳分校（UIUC）電氣與計算機工程系任教；2009年至2014年，擔任微軟亞洲研究院計算機視覺組主任及首席研究員；2014年至2017年出任上海科技大學信息科學與技術學院教授、執(zhí)行院長；2018年加入加州大學伯克利分校電子工程與計算機科學系任教。

他在計算機視覺、廣義主成分分析和高維度數(shù)據(jù)分析方面，發(fā)表了超過60篇期刊論文，120篇學術會議論文，以及著有3本教科書。

他分別在2004年獲得美國國家自然科學基金職業(yè)獎，2005年獲得美國國家航空研究局青年研究員獎。并在1999年的國際計算機視覺大會（ICCV）上獲得David Marr最佳計算機視覺論文獎。他還獲得2004年歐洲計算機視覺會議（ECCV）的最佳論文獎榮譽提名、2009年亞洲計算機視覺會議（ACCV）的最佳學術論文獎。

此外，馬教授還曾擔任ICCV 2013的程序主席和ICCV 2015的大會主席。