隨著GPT-4o與Qwen-VL等模型的視覺理解和多模態(tài)生成能力逐漸打破眾人認知，大型視覺語言模型（LVLMs）正以前所未有的速度重塑AI世界，這些能夠理解視覺信息并生成自然語言響應(yīng)的智能系統(tǒng)，已在醫(yī)療診斷、自動駕駛、金融風控等關(guān)鍵領(lǐng)域嶄露頭角。

然而，當研究者僅用幾百美元就能突破頂級模型的安全防線、簡單的對抗噪聲圖片就能讓模型輸出危險內(nèi)容，我們是否該感到擔心？

近期，武漢大學(xué)、中國科學(xué)技術(shù)大學(xué)和南洋理工大學(xué)的研究團隊發(fā)布了一篇綜述，系統(tǒng)性總結(jié)了LVLMs在安全性上的挑戰(zhàn)，并提出了全面而系統(tǒng)的安全分類框架。

論文地址：https://arxiv.org/abs/2502.14881

項目主頁：https://github.com/XuankunRong/Awesome-LVLM-Safety

與以往的零散研究不同，研究人員深入分析了LVLM安全性的各個方面，涵蓋了從攻擊策略到防御機制，再到評估方法的全面內(nèi)容。

通過細致探討LVLM模型在訓(xùn)練和推理不同階段面臨的具體安全問題，該論文不僅提供了全面的安全態(tài)勢分析，還詳細介紹了針對各類安全風險的有效應(yīng)對措施，為提升LVLM安全性和魯棒性提供了系統(tǒng)性的指導(dǎo)和參考。

突破孤立分析的困境，統(tǒng)一攻擊-防御-評估的總體框架

論文指出，許多現(xiàn)有研究僅聚焦于LVLM的攻擊或防御的某一方面，這種孤立的分析方法無法全面揭示LVLM的安全性，導(dǎo)致對整體安全態(tài)勢的理解不夠深入。盡管一些研究試圖同時討論LLM和LVLM的安全問題，但未能充分關(guān)注LVLM所面臨的獨特挑戰(zhàn)，泛泛而談。

為此，研究人員提出了一種系統(tǒng)化的分析方法，整合了攻擊、防御和評估這三個密切相關(guān)的領(lǐng)域，從而全面揭示LVLM固有的漏洞及其潛在的緩解策略。

通過整合領(lǐng)域內(nèi)最全面的相關(guān)研究，論文提供了更加深入和系統(tǒng)的LVLM安全性分析，涵蓋了多個維度的安全問題，填補了現(xiàn)有研究的空白，推動了該領(lǐng)域的進一步發(fā)展。

圖1. 論文整體結(jié)構(gòu)

此外，論文還基于LVLM生命周期的不同階段（訓(xùn)練和推理）對相關(guān)研究進行了詳細分類，從而提供了更加細致的分析，該分類方法能夠更清晰地揭示每個階段所面臨的獨特安全挑戰(zhàn)，因為訓(xùn)練階段和推理階段的安全問題本質(zhì)上有所不同。

訓(xùn)練階段主要涉及模型學(xué)習過程中的數(shù)據(jù)安全性問題，而推理階段則側(cè)重于模型實際應(yīng)用中的安全風險，通過分析生命周期中不同階段的安全策略，研究者們能夠更有針對性地識別和應(yīng)對不同階段的潛在威脅。

例如，在推理階段，攻擊可分為白盒攻擊、灰盒攻擊和黑盒攻擊（如圖2所示）。

圖2. 白盒、灰盒、黑盒攻擊介紹

白盒攻擊假設(shè)攻擊者能夠完全訪問模型的內(nèi)部結(jié)構(gòu)、參數(shù)和梯度信息，從而精準操控模型行為；灰盒攻擊則設(shè)定攻擊者對模型架構(gòu)有所了解，并通過構(gòu)建替代模型生成惡意輸入；而黑盒攻擊則假設(shè)攻擊者只能通過輸入輸出對與模型交互，完全無法獲取任何內(nèi)部信息，模擬了現(xiàn)實世界中更具挑戰(zhàn)性的攻擊情境。

Janus-Pro的安全性測評

除了對現(xiàn)有工作進行歸納，研究人員同時對DeepSeek最新發(fā)布的統(tǒng)一多模態(tài)大模型：Janus-Pro進行了安全性評估。

通過在SIUO以及MM-SafetyBench上進行測試，結(jié)果表示，盡管Janus-Pro在多模態(tài)理解能力上取得了令人印象深刻的成績，但其安全性表現(xiàn)仍然是一個顯著的限制。在多個基準測試中，Janus-Pro未能達到大多數(shù)其他模型的基本安全能力。

圖3. Evaluation on SIUO

圖4. Evaluation on MM-SafetyBench

研究人員推測，這一短板可能與模型架構(gòu)本身的設(shè)計有關(guān)：該架構(gòu)的主要目標是同時處理多模態(tài)理解和圖片生成任務(wù)，可能導(dǎo)致其在設(shè)計時未能充分考慮和優(yōu)化專門的安全機制。

此外，Janus-Pro可能沒有經(jīng)過專門的安全性訓(xùn)練，缺乏針對這些特定問題的預(yù)防措施和應(yīng)對策略，從而導(dǎo)致其在識別、緩解和防范有害輸入方面的能力相對有限。考慮到安全性在多模態(tài)模型實際應(yīng)用中的至關(guān)重要性，顯然Janus-Pro的安全性亟需大幅提升。

為增強Janus-Pro在高風險任務(wù)和復(fù)雜場景中的有效性，必須進一步優(yōu)化其架構(gòu)與訓(xùn)練方法，特別是加強對安全性和對抗性魯棒性的關(guān)注，以確保其在面對挑戰(zhàn)時能夠提供更加可靠的防護。

未來研究趨勢

研究人員認為，未來LVLM安全性研究將集中于幾個關(guān)鍵領(lǐng)域。

首先，黑盒攻擊的相關(guān)研究將逐步增多，黑盒攻擊方法不依賴于對模型內(nèi)部結(jié)構(gòu)的訪問，而是通過利用LVLM固有的能力，如光學(xué)字符識別（OCR）、邏輯推理等，從而提升攻擊的可轉(zhuǎn)移性和資源效率；

其次，跨模態(tài)安全對齊的研究將成為重要課題，考慮到視覺和文本輸入的組合可能導(dǎo)致不安全輸出，亟需在安全性設(shè)計中加強視覺與語言模態(tài)的協(xié)同，以避免潛在的風險；

第三，安全微調(diào)技術(shù)的多樣化，特別是通過人類反饋強化學(xué)習（RLHF）和對抗訓(xùn)練等方法，將有助于在保持模型高效性能的同時顯著提升其安全性。

最后，發(fā)展統(tǒng)一的策略基準框架將成為研究的重點，通過該框架能夠更加有效地比較不同攻擊與防御策略的優(yōu)缺點，推動更強大且高效的解決方案，從而確保LVLM在實際應(yīng)用中的安全性與魯棒性。