通用的數據清洗框架：利用多模態大模型檢測數據集中的惡意樣本
論文題目：
VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models
論文鏈接：
https://arxiv.org/pdf/2309.16211.pdf
論文代碼：
https://github.com/zihao-ai/vdc
論文網站：
https://versatile-data-cleanser.github.io
一、 背景介紹
以數據為中心的人工智能（DCAI）這一新興領域強調了數據在構建AI系統的過程中扮演著至關重要的角色。然而，現實世界中的數據處理面臨著諸多挑戰，尤其是在數據質量和可靠性方面。數據集中可能存在被惡意篡改的樣本，例如通過后門攻擊植入的有毒樣本、眾包標注中產生的噪聲標簽，甚至這兩類的混合體（不同類型的臟樣本示例如下圖所示）。這些“臟樣本”的存在使得模型變得脆弱且不可靠，嚴重影響了模型的性能和安全性。
在此背景下，檢測并清除數據集中的臟樣本成為了提升數據集質量和可靠性的關鍵步驟。盡管已有研究提出了針對噪聲標簽或有毒樣本的檢測方法，但這些方法在泛化能力上往往存在局限，特別是在處理來自不同領域的臟樣本時。例如檢測噪聲標簽的方法往往不能檢測到有毒樣本，反之亦然。
發表于ICLR2024的《VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models》這篇工作提出了一種創新的解決方案。作者發現，不同類型的臟樣本之間存在一個共同點，即圖像內容與其關聯標簽之間的視覺-語言語義不一致性?；谶@一發現，研究者們提出了一種通用的數據清洗框架——Versatile Data Cleanser（VDC），旨在通過利用多模態大模型在跨模態對齊和理解方面的能力來捕捉語義不一致性，從而準確的檢測出數據集中存在的臟樣本。
二、 方法介紹
2.1 視覺語言不一致性
本文的核心理念是識別和利用圖像內容與其關聯標簽之間的視覺-語言不一致性（visual-linguistic inconsistency）。這種不一致性通常表現為圖像的視覺特征與文字描述的標簽之間存在語義上的不匹配。例如，一張標記為“airplane”的圖片實際上顯示的是一輛“car”，即使圖片中被添加了投毒噪聲（如下圖所示）。鑒于多模態大模型的迅速發展，其具有強大的跨模態理解和推理能力，因此作者提出利用多模態大模型（MLLM）來捕獲這種不一致性，提出了基于MLLM的通用數據清洗器Versatile Data Cleanser (VDC)。
2.2 Versatile Data Cleanser (VDC) 框架
VDC框架由以下三個主要模塊組成（如下圖所示）：
- 視覺問題生成 (Visual Question Generation, VQG) 模塊： 該模塊基于圖像和關聯標簽生成一系列有洞察力的問題。這些問題旨在從圖像中提取深層次的語義信息，包括一般性問題和標簽特定問題。
- 視覺回答 (Visual Question Answering, VQA) 模塊： 該模塊利用MLLM來回答VQG模塊生成的問題，從而獲取圖像內容的語義信息。通過這種方式，VDC能夠理解圖像的實際內容，并將其與標簽進行比較。
- 視覺答案評估 (Visual Answer Evaluation, VAE) 模塊： 該模塊評估MLLM提供的答案與預期答案之間的匹配程度，從而判斷圖像內容與標簽之間的一致性。如果答案的匹配程度低于某個閾值，則該樣本可能被認為是臟樣本。
2.3 視覺問題生成 (Visual Question Generation, VQG) 模塊
VQG模塊是VDC框架的第一步，它負責生成與給定標簽相關的問題。這些問題設計用來揭示圖像內容和標簽之間的潛在不一致性，為后續的問題回答和答案評估模塊提供基礎。包括一般性問題和標簽特定問題兩類問題。
一般性問題 (General Questions)
VQG模塊首先生成一些一般性問題，這些問題旨在從全局角度獲取圖像的整體語義理解。例如，對于一張圖像，一般性問題可能包括“請簡要描述這張圖片”或“這張圖片的主要元素是什么”。這些問題不依賴于特定的標簽信息，而是旨在從圖像中提取普遍的視覺特征。對于一般性問題，VQG模塊可以利用預定義的問題模板來生成。這些模板是固定的，可以適用于各種不同的圖像和標簽。
標簽特定問題 (Label-specific Questions)
除了一般性問題之外，VQG模塊還會根據圖像的關聯標簽生成一系列標簽特定問題。這些問題更加細致和具體，旨在深入挖掘圖像中與標簽直接相關的特征和屬性。例如，如果圖像的標簽是“飛機”，那么一個標簽特定問題可能是“圖像中的物體是否設計用來在空中飛行？”這類問題需要結合圖像的視覺內容和標簽的語義信息來生成。對于標簽特定問題，VQG模塊利用LLM來自動生成問題。通過精心設計的提示（prompt），模型能夠根據標簽的語義內容生成相關的問題。這種方法的優勢在于它能夠自動適應大量的標簽，而不需要人工為每個標簽單獨設計問題。
2.4 視覺問答 (Visual Question Answering, VQA) 模塊
視覺問答（VQA）模塊是VDC框架中負責獲取圖像語義信息的關鍵部分，它通過多模態大模型（MLLM）來回答由視覺問題生成（VQG）模塊提出的關于圖像的各種視覺問題。VQA模塊首先接收來自VQG的圖像和問題，然后利用MLLM的能力，結合圖像的視覺特征和問題的文本信息，生成詳細且準確的回答，以便后續的視覺答案評估（VAE）模塊能夠有效地評估圖像和標簽之間的一致性，從而識別出潛在的數據集中的臟樣本。VQA模塊的性能對于整個VDC框架至關重要，因為它直接影響到數據清洗的準確性和AI模型的可靠性。
2.5 視覺答案評估 (Visual Answer Evaluation, VAE) 模塊
視覺答案評估（VAE）模塊是VDC框架中負責評估由視覺問題回答（VQA）模塊生成的答案與預期答案之間一致性的組件。該模塊的目標是通過評估答案的準確性來檢測圖像和其關聯標簽之間的視覺-語言不一致性，從而判斷樣本是否為臟樣本。VAE模塊接收VQA模塊提供的答案以及VQG模塊生成的問題的預期答案。
對于每個問題-答案對，VAE模塊評估MLLM生成的答案是否與預期答案一致。對于標簽特定的問題，這通常涉及到字符串匹配或模式識別，以確定答案是否符合預期。對于一般性問題，答案可能不是簡單的“是”或“否”，而是需要更復雜的語義理解。在這種情況下，VAE模塊可能使用專門的評估技術或額外的MLLM來確定答案的相關性和準確性。VAE模塊根據所有問題-答案對的得分計算一個總體匹配得分。如果這個得分低于預設的閾值，則認為樣本可能包含錯誤或不一致性，從而將其標記為臟樣本。
三、 實驗驗證
3.1 實驗設置
實驗在多個公認的基準數據集上進行，包括CIFAR-10、ImageNet-100和ImageNet-Dog等。這些數據集廣泛用于圖像識別和分類任務，且具有不同的復雜性和多樣性，從而確保了實驗結果的廣泛適用性。
3.2 臟樣本生成
為了模擬現實世界中的數據污染情況，作者采用了多種方法生成臟樣本，包括后門攻擊生成投毒樣本（如BadNets、Blended、SIG、TrojanNN、SSBA和WaNet）和噪聲標簽模型生成噪聲樣本（對稱和非對稱噪聲）。這些臟樣本被引入到數據集中，以測試VDC框架的檢測能力。實驗采用的投毒樣本示例如下所示。
3.3 實驗結果
實驗結果顯示，VDC框架在各種類型的臟樣本檢測上均表現出色。無論是面對可見的觸發器攻擊還是隱蔽的后門攻擊，VDC都能保持高TPR，同時維持低FPR，顯示出良好的泛化能力和魯棒性。此外，VDC在處理不同類別和數量的臟樣本時，其性能幾乎沒有波動，這表明了其對不同數據集噪聲的適應性（更多結果請查看原文）。
四、 總結與展望
本文提出一種基于多模態大模型的通用數據清洗器，旨在通過檢測和清除數據集中的視覺-語言不一致性來提升數據質量和AI模型的可靠性。該框架通過視覺問題生成、視覺問答和視覺答案評估三個模塊，有效地識別并處理了包括有毒樣本和噪聲標簽在內的臟樣本。在多個基準數據集上的實驗驗證了VDC的高效性和泛化能力，展示了其在DCAI領域的重要應用潛力。隨著大模型技術的不斷發展，VDC框架有望在未來的數據清洗和質量提升工作中發揮更大的作用，為構建更加智能和可靠的AI系統提供堅實的數據基礎。
Illustration From IconScout By IconScout Store
