文章鏈接：https://arxiv.org/pdf/2411.15738
項目鏈接：https://dcd-anyedit.github.io/

亮點直擊

• 從全新的視角系統地對各種編輯指令進行分類，并創新性地引入了一個統一的編輯框架，該框架利用自適應編輯 pipeline自動收集不同場景下的多樣化高質量編輯數據，從而以可擴展的方式進行處理。
• 構建了一個多類型、多場景的數據集AnyEdit，并為其設計了相應的基準測試集AnyEdit-Test，涵蓋了25種復雜的編輯類型，以滿足現實世界中更廣泛的編輯需求。
• 使用提出的AnySD方法，充分挖掘AnyEdit的潛力，在多個編輯類型中實現了指令遵循和圖像保真度的SOTA。

驚艷效果，一睹為快

總結速覽

解決的問題：

1. 現有模型難以準確執行復雜的用戶指令：由于訓練數據質量較低且編輯類型有限，現有的指令驅動的圖像編輯模型在處理復雜用戶指令時存在困難。
2. 缺乏高質量的指令編輯數據集：現有的編輯數據集數據質量不足，且難以支持基于多模態感知和復雜指令的圖像編輯任務，如空間構圖、視角變化和常識理解等。
3. 當前數據集在多種輸入格式和編輯需求上的適應性差：現有數據集缺乏對不同編輯任務的適配，導致編輯結果質量差，且生成的圖像常存在低分辨率、高噪聲或與文本不對齊的問題。

提出的方案：

1. AnyEdit數據集：提出了一個全面的多模態指令編輯數據集，包含250萬高質量的編輯對，涵蓋20多種編輯類型和五個領域。通過引入對抗合成場景來平衡數據集中的概念分布，確保編輯數據的多樣性和質量。
2. 自適應編輯流程：為了適應不同的編輯需求，AnyEdit引入了自適應編輯流程，可以根據任務類型選擇合適的數據處理流程，提高編輯效果。
3. 指令驗證和圖像評估：通過開發指令驗證預篩選和圖像評估后篩選策略，過濾出不合格的編輯結果，從而確保數據集質量。
4. AnyEdit Stable Diffusion（AnySD）：提出了一種新的穩定擴散模型，采用任務感知路由和可學習的任務嵌入來支持不同類型的編輯任務，從而構建一個強大的指令驅動的圖像編輯模型。

應用的技術：

1. 多模態數據集：通過收集并組織2.5百萬高質量的圖像-文本編輯對，AnyEdit涵蓋了包括局部編輯、全局編輯、相機運動編輯、隱式編輯和視覺編輯在內的多種編輯類型。
2. 自適應編輯流程：通過自動化選擇適合每個任務的數據處理流程，提升數據集的適應性。
3. 任務感知路由：AnySD模型通過任務感知路由調整編輯的粒度（如局部物體編輯或全局風格編輯），增強了模型在處理多種編輯任務時的適應能力。
4. 學習型任務嵌入：通過引入可學習的任務嵌入，AnySD模型能夠有效協調不同任務的復雜性，提升編輯效果。
5. 圖像質量評估：通過引入圖像質量的預篩選和后篩選機制，確保數據集的編輯對具備高質量。

達到的效果：

1. 提升編輯模型的性能：通過AnyEdit數據集和AnySD模型，實驗表明AnyEdit能顯著提高擴散基礎編輯模型的性能，在MagicBrush和Emu-Edit基準測試中創下新紀錄。
2. 更高的視覺和語義相似性：AnyEdit比現有的SOTA數據集提高了28.9%的視覺相似性和18.8%的語義相似性。
3. 解決復雜任務的局限性：在AnyEdit-Test基準測試中，AnyEdit數據集幫助解決了現有模型在復雜任務（如動作變化）中的表現差異，顯著提升了模型對多場景編輯任務的處理能力。
4. 挑戰現有基準測試的能力：AnyEdit-Test展示了現有基準測試在復雜任務中的局限性，強調了AnyEdit-Test在評估編輯模型能力中的重要性。

通過這些技術和方案，AnyEdit為指令驅動的圖像編輯模型的開發提供了巨大的潛力，推動了人類創造力的發揮。

AnyEdit

編輯類型定義

為了使基于指令的編輯模型具備全面的能力，以遵循任何創意構思，制作了一個多模態圖像編輯數據集 AnyEdit，用于基于指令的圖像編輯，該數據集包含250萬對高質量的編輯樣本，涵蓋五個主要領域，如圖1所示。

該數據集包括被劃分為五大類的編輯任務，每個類別下包含不同的編輯類型：

• 局部編輯：添加、刪除、替換、顏色變化、外觀變化、材質變化、動作變化、文本變化、計數。
• 全局編輯：背景變化、色調轉移、風格變化。
• 相機運動編輯：旋轉變化、外延繪制、移動、調整大小。
• 隱式編輯：隱性變化、關系變化。
• 視覺編輯：視覺參考、材質轉移、視覺條件（如深度、分割、涂鴉、草圖、mask）。

具體來說，局部編輯針對圖像的特定區域進行修改，而不改變與之無關的語義內容；全局編輯則影響整個圖像。相機運動編輯通過操控特定物體或場景內整體內容的視角來擴展這一概念。隱式編輯涉及狀態或交互模式的隱藏變化，通常需要更深的理解。視覺編輯則加入額外的視覺輸入作為參考，配合編輯指令一起使用。圖1(a)展示了每種編輯類型的示例。

自動數據集收集

通用數據準備

以往研究表明，高質量的初始圖像有助于編輯圖像創作的多樣性。為了應對現實世界中復雜場景下的圖像編輯需求，從已標注的數據集（如 MSCOCO 、LLaVA-CC3M-Pretrain）和多視角圖像數據集（如 MVImgNet）中收集了約 68 萬對真實世界的圖像-文本配對。隨后，使用多語言大模型（例如 VILA）來豐富這些簡短的描述，以增強描述的完整性。然而，這些圖像-文本配對存在固有的數據偏差，導致模型在一些沒有被廣泛覆蓋的領域中表現不佳。因此，引入了 反事實合成場景對數據集，以平衡初始圖像-文本配對的數據分布。具體來說，從互聯網數據中收集較少出現的尾部概念，并結合多個概念和上下文，通過 LLaMA-3B 生成描述。隨后，使用現成的 T2I 模型生成初始圖像。通過這種方式，通過引入罕見的概念組合，豐富了原始數據集，從而為 AnyEdit 數據集收集提供了約 70 萬對高質量和多樣的圖像-文本配對，如表2所示。

多樣化指令生成

目標是基于初始圖像的描述，生成多樣的編輯指令和相應的編輯后描述輸出。如圖2所示，我們利用公開的 Llama3-8b 模型將原始描述轉換為多樣的編輯指令。為了克服在生成編輯指令時指令多樣性和一致性方面的局限性，將直觀的類型約束與大語言模型（LLM）生成相結合，并使用上下文示例來開發一個針對每種編輯類型的特定任務代理。此外，將生成的編輯指令與原始描述結合，形成指令對，作為上下文示例供其進行迭代自我增強，從而逐漸提高指令的多樣性和復雜性。

自適應編輯pipeline

傳統的指令編輯數據集依賴于固定的pipeline或耗時的手動篩選，這使得在復雜的編輯類型和各種輸入格式下，難以高效地生成高質量的編輯圖像。在此，我們提出了一種自適應的編輯pipeline視角，能夠根據特定的編輯類型定制編輯后的圖像。具體來說，設計了9條核心pipeline，用于生成局部、全局、相機運動、隱式和視覺編輯數據，涵蓋了20多種編輯類型。在圖像編輯生成過程中，我們將編輯指令對與原始圖像及其變體輸入到自適應編輯pipeline中。該pipeline根據編輯類型動態選擇量身定制的解決方案，生成與預期編輯一致的圖像。此外，在擴散過程中將額外的約束（如膨脹mask、布局和幾何引導）融入到UNet層中，以實現更精確的語義對齊和減少偽影。

數據質量增強

由于編輯數據的質量對于在AnyEdit中訓練強大的編輯模型至關重要，進一步引入了一個全面的數據質量增強篩選策略。該策略包括兩個步驟：指令驗證預篩選和圖像質量后篩選。

• 指令驗證預篩選 注意到，來自大語言模型（LLMs）的部分編輯指令有時會引入歧義，進而不利于編輯圖像（例如，“顏色變化”編輯中的外觀變化，或“動作變化”編輯中的靜態桌面動作變化）。同時，低質量的初始圖像（如低分辨率、不良的長寬比、缺乏美學）即使經過多輪篩選，也會導致編輯結果不滿意。因此，采用特定任務的啟發式規則來驗證各種指令，確保指令的一致性，并進行美學評估，以確保使用的圖像在審美上平衡，適合編輯過程。

特性與統計

得益于我們有效的自動化數據集收集方法，AnyEdit包含250萬對高質量的編輯樣本，涵蓋25種不同的編輯類型。AnyEdit涵蓋了更廣泛的領域，包括視角編輯、隱式編輯和視覺編輯等復雜編輯任務，并融合了更豐富的場景種類，包括概念豐富的合成場景（參見表1）。此外，圖1(b)中的AnyEdit數據分布反映了多種編輯類型的廣泛覆蓋。定量評估表明，基于語義相似度和視覺相似度指標（參見表3），AnyEdit在像素級一致性和準確反映編輯指令方面表現出顯著的提升（相較于UltraEdit，DINOv2提升+25.2%，CLIPin提升+16.0%）。

AnyEdit數據集集中每種編輯類型的詳細流程圖:

現有圖像編輯數據集的比較

“真實圖像”表示原始圖像來自現實世界，“合成圖像”表示它們來自T2I模型，“合成場景”表示圖像和描述都是為了解決固有的數據偏差而生成的：

方法

架構

由于AnyEdit包含了跨多個領域的多種編輯指令，因此具有開發強大編輯模型的潛力，能夠處理高質量的編輯任務。然而，訓練這樣一個模型面臨三個額外的挑戰：（a）對各種多模態輸入的語義對齊；（b）識別每個領域中的語義編輯，以控制編輯的粒度和范圍；（c）協調各種編輯任務的復雜性，以防止災難性遺忘。為此，提出了一種新穎的AnyEdit穩定擴散方法（AnySD），以應對現實世界中的各種編輯任務。如圖3所示，AnySD包括三個設計：視覺提示投影器、任務感知路由和可學習的任務嵌入。接下來，將介紹每個AnySD設計。

可學習的任務嵌入

訓練與推理

為了增強 AnySD 處理多樣化編輯條件的能力，引入了 CFG ，擴展自 InstructPix2Pix，用于三種條件化。此外，將 AnySD 的訓練結構分為兩個階段，以確保擴散模型能夠充分理解通用的編輯知識并開發細粒度的任務特定技能。

階段 I：指令理解

在此階段，為了增強模型的指令跟隨能力，凍結任務感知路由，將額外的條件設置為零張量，并僅預訓練擴散過程中的 UNet 主干，以使其與編輯指令對齊。此外，在訓練過程中隨機省略原始圖像和編輯指令，以增強推理時的 CFG。

階段 II：任務調整

推理

在推理階段，我們使用 LLMs（例如 LLaMA-3）預測編輯類型，并根據輸入的指令應用我們的 AnySD 進行編輯。

實驗

首先在流行的標準編輯基準上評估 AnyEdit 和 AnySD，展示 AnyEdit 數據集的高質量以及 AnySD 架構的優越性。此外，將評估擴展到更具挑戰性的 AnyEdit-Test 基準，以展示方法的擴展性，更好地與現實場景中的創意編輯需求對接。還進一步展示定性結果并進行深入分析，以說明 AnyEdit 的可擴展性和更廣泛的適用性。

實驗設置

設置

為了公平比較，采用 Stable-Diffusion 1.5 作為主干，并遵循 InstructPix2Pix的設置來訓練我們的 AnySD。值得注意的是，僅使用 AnyEdit 數據進行訓練，而未結合任何額外的數據集。

基準與評估指標

在兩個流行的基準上評估我們的方法：Emu Edit Test和 MagicBrush。這些標準基準通過比較編輯結果與真實值來評估編輯模型。此外，從 AnyEdit 中手動選擇了每種編輯類型的 50 個高質量編輯數據，創建了更具挑戰性和綜合性的 AnyEdit-Test 進行評估。值得注意的是，AnyEdit-Test 在訓練期間不可見。遵循先前的工作 [17, 64, 82]，采用語義相似度（例如 CLIPim 和 CLIPout）和視覺相似度（例如 DINO 和 L1 距離）指標來評估基于 AnyEdit 訓練的 AnySD 在指令驅動圖像編輯中的效果。

基準方法

使用以下基準方法：

• 專門的圖像編輯方法：PnP, Null-Text；
• 基于指令的方法：它直接用自然語言編輯圖像，包括 InstructPix2Pix, MagicBrush, HIVE, EMU-Edit, UltraEdit；
• 視覺條件方法：它針對視覺編輯，包括 Uni-ControlNet。

標準圖像編輯的主要結果

在 EMU-Edit Test 和 MagicBrush 基準上報告 AnyEdit 和其他基準方法的標準圖像編輯結果，見表 4。

根據實驗結果，總結了以下結論：

• 使用 AnyEdit 的 SD-1.5，僅更改訓練數據為 AnyEdit，在編輯對齊和內容保留方面始終表現出優越的語義性能，甚至沒有額外的掩碼監督（在 EMU-Edit Test 上，CLIPim 為 0.872，CLIPout 為 0.285）。這突出了 AnyEdit 在掌握高質量圖像編輯方面的有效性，驗證了其高質量編輯數據在語義對齊和清晰的編輯結構方面的顯著作用。
• 使用 AnySD 模型，在 AnyEdit 數據上訓練并采用 AnySD 架構，進一步在語義和視覺相似度上超越了 SOTA 方法（在 EMU-Edit Test 上 CLIPim 為 0.872，在 MagicBrush Test 上 DINO 為 0.881），在 MagicBrush 和 Emu-Edit 基準上創下新紀錄。這表明 AnySD 在遵循編輯指令的同時，能夠保持未修改圖像元素的完整性，得益于其任務感知架構，從 AnyEdit 中學習任務特定知識，提升了模型在跨任務編輯中的能力。

AnyEdit-Test 基準對比

表 5 展示了 AnyEdit-Test 基準的結果，其中每個指令旨在嚴格評估 AnyEdit 在更廣泛的挑戰性編輯場景中的適應性。

從中可以觀察到：（i）大多數基準方法在處理標準基準中很少出現的復雜編輯任務時效果不佳（平均 L1 為 0.190 對比 0.121），尤其是在隱式編輯任務上，這些任務需要推理能力。這表明 AnyEdit-Test 對于評估編輯模型在復雜任務中的表現至關重要。（ii）即使是常見的編輯任務，最先進的模型在 AnyEdit-Test 上的表現也出現了顯著下降（UltraEdit 在 CLIPim 上下降了 3.5%，在 DINO 上下降了 19.2%）。這突出了現有基準在評估多場景編輯中的局限性。（iii）相比之下，AnyEdit 在所有編輯類別中顯著優于最先進的方法，展示了其在處理復雜任務中的可擴展性和魯棒性。（iv）傳統方法在處理視覺編輯時常常難以有效應對額外的視覺輸入。在這種情況下，即使與經過多種視覺條件預訓練的 Uni-ControlNet 相比，AnyEdit 在視覺編輯任務中也始終表現得更好。這顯示了 AnyEdit 在處理視覺條件編輯指令時的有效性。

定性評估

由于定量指標在評估編輯任務中的局限性，進行了定性評估，以進一步評估我們方法的有效性，如圖 5 所示。

主要觀察結果如下：

1. 大多數基準模型，包括人工調優的 HIVE-c和擁有大量訓練數據的最先進方法 UltraEdit，在處理復雜的精細化指令（例如圖 5(ii) 中的“面部畸形”和“缺失眼鏡”）時，仍然會遭遇過度編輯或錯位的情況。
2. 由于當前數據集的多樣性和質量有限，先前的方法（如 ip2p、MagicBrush 和 UltraEdit）在不同場景下難以推廣到新型編輯類型（例如，在旋轉變換和計數任務中未能遵循指令，或在外觀修改任務中粗略改變對象的外觀）。
3. 相比之下，我們的方法可以有效確保目標區域的編輯精度，并在不相關區域保持一致性，即使沒有任何掩膜指導（如圖 5(i)、(vii)）。此外，方法能夠自動區分前景和背景，并修改背景（如圖 5(v)）。我們的方案還成功執行了更復雜的編輯指令（例如圖 5(vi) 中的風格變換和圖 5(x) 中的修復）。

此外，在圖 6 中可視化了 AnyEdit 在視覺編輯中的結果。在這個具有挑戰性的設置下，Uni-ControlNet 僅能反映視覺條件中的像素信息，或者保留原始圖像的語義而不執行任何編輯。相比之下，對于各種視覺指令，AnyEdit 始終能夠理解視覺條件中的像素信息并實現可靠的編輯。這些有前景的可視化結果確認了 AnyEdit 在處理視覺條件編輯指令時的有效性和高質量。

深入分析

AnySD 架構

調查了每個組件的有效性，并在 EMU-Edit Test 基準上進行了以下實驗：

• 我們移除了 AnySD 中的文本感知路由策略（參見表 6 的第 1 行），發現其導致了顯著的性能下降（CLIPim 從 0.838 降至 0.872，L1 從 0.154 降至 0.070），表明該策略對于適應多樣的圖像編輯任務至關重要。
• 移除了 AnySD 中的任務嵌入，觀察到這對語義對齊的影響較小，但對視覺一致性有顯著影響（參見表 6 的第 2 行），這表明任務嵌入在跨注意力過程中控制了像素信息的感知粒度。

AnyEdit 中數據擴展的分析

在圖 4 中，分析了 AnyEdit 數據擴展對圖像編輯能力的影響。觀察到：

• 對于一致性指標（例如 CLIPim 和 DINO），隨著數據規模的增加，性能逐步提升；
• 對于編輯準確性指標（例如 CLIPout），即使數據量較少，也能實現令人滿意的性能，表明 AnyEdit 在語義對齊方面表現優異；
• 此外，移除了在反事實合成場景中的 AnyEdit-Composition 編輯數據，如表 6 第 3 行所示，缺乏概念平衡會限制 AnySD 的泛化能力，導致語義性能下降（CLIPout 降低了 4.9%）。這證實了反事實合成場景在編輯任務泛化中的有效性。

結論

這項工作提出了一種新的編輯任務分類視角，并引入了一個統一框架，利用自適應pipeline構建低資源環境下適用于多樣編輯任務的高質量數據。在此基礎上，提出了 AnyEdit，這是一個多類型、多場景的基于指令的編輯數據集，包含 250 萬個編輯樣本，覆蓋 25 種不同類型，并配套 AnyEdit-Test 基準，開啟了統一圖像編輯的更全面的范式。此外，開發了強大的 AnySD，充分釋放了 AnyEdit 的潛力。通過在標準基準和具有挑戰性的 AnyEdit-Test 上的廣泛實驗，證明了我們的方法在多樣任務和場景下的高質量圖像編輯能力，能夠準確執行復雜指令，同時保持未修改元素的圖像一致性。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/3LAh7-HTdwSFZMEGR_EdZA??