本文經(jīng)AIGC Studio公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

在圖像生成領(lǐng)域，大型文本到圖像（T2I）擴(kuò)散模型近年來取得了革命性的突破。然而，將這些強(qiáng)大的生成能力轉(zhuǎn)化為精細(xì)的圖像編輯任務(wù)，仍面臨諸多挑戰(zhàn)。CVPR 2024, 來自北京大學(xué)深圳研究生院與騰訊PCG的研究團(tuán)隊(duì)提出了一種創(chuàng)新的圖像編輯方法——DiffEditor，該方法不僅顯著提升了編輯的準(zhǔn)確性和靈活性，還拓寬了擴(kuò)散模型在圖像編輯領(lǐng)域的應(yīng)用邊界。DiffEditor可以對一般圖像執(zhí)行各種細(xì)粒度的圖像編輯操作。給定一張圖片，用戶可以選擇一個對象進(jìn)行移動或調(diào)整大小，也可以選擇多個像素點(diǎn)進(jìn)行更精確的內(nèi)容拖動。此外，用戶還可以選擇參考圖像進(jìn)行跨圖像編輯，即對象粘貼和外觀替換。

相關(guān)鏈接

• 論文：https://arxiv.org/pdf/2402.02583
• 項(xiàng)目：https://github.com/MC-E/DragonDiffusion

背景與挑戰(zhàn)

現(xiàn)有的基于擴(kuò)散模型的圖像編輯方法，如DragDiff和DragonDiff，雖然在一定程度上實(shí)現(xiàn)了圖像的精細(xì)編輯，但仍存在局限性。DragDiff受限于GAN模型的容量，而DragonDiff則在編輯過程中犧牲了部分靈活性。此外，這些方法往往忽視了文本提示在精細(xì)編輯中的潛在作用，導(dǎo)致編輯結(jié)果在某些場景下缺乏細(xì)節(jié)和準(zhǔn)確性。

方法

DiffEditor 概述，它由可訓(xùn)練的圖像提示編碼器和帶有不需要訓(xùn)練的編輯指導(dǎo)的擴(kuò)散采樣組成。

1. 引入圖像提示：DiffEditor首次嘗試將圖像提示引入精細(xì)圖像編輯任務(wù)中，與文本提示相結(jié)合，為編輯內(nèi)容提供了更詳細(xì)的描述，從而顯著提高了編輯質(zhì)量。
2. 區(qū)域SDE策略：為了提升編輯的靈活性，DiffEditor提出了一種區(qū)域隨機(jī)微分方程（SDE）策略，該策略能夠在編輯區(qū)域注入隨機(jī)性，同時(shí)保持其他區(qū)域的內(nèi)容一致性。
3. 時(shí)間旅行策略：為了進(jìn)一步改善編輯質(zhì)量，DiffEditor引入了時(shí)間旅行策略，在單個擴(kuò)散時(shí)間步內(nèi)建立循環(huán)指導(dǎo)，從而精煉編輯效果。

圖像提示編碼器設(shè)計(jì)說明

實(shí)驗(yàn)與性能

DiffEditor與其他面部處理方法的定性比較。當(dāng)前點(diǎn)和目標(biāo)點(diǎn)用紅色和藍(lán)色標(biāo)記嗎，白線表示距離，結(jié)果和目標(biāo)之間的 MSE 距離用黃色標(biāo)記。

提出的方法與其他方法在外觀替換、對象粘貼和對象移動任務(wù)上的視覺比較。

不同擴(kuò)散模型上的編輯結(jié)果可視化。

綜上所示，研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)驗(yàn)證了DiffEditor在各種精細(xì)圖像編輯任務(wù)（如內(nèi)容拖動、對象移動、縮放、粘貼和外觀替換）中的優(yōu)越性能。與現(xiàn)有的基于擴(kuò)散和GAN的方法相比，DiffEditor不僅具有更高的編輯準(zhǔn)確性和內(nèi)容一致性，還保持了良好的靈活性。特別是在需要想象新內(nèi)容的場景中，DiffEditor能夠產(chǎn)生更自然的結(jié)果。

結(jié)論

DiffEditor是一種高效且靈活的圖像編輯方法，能夠無縫融入各種精細(xì)圖像編輯任務(wù)，無需針對特定任務(wù)進(jìn)行訓(xùn)練。盡管DiffEditor已經(jīng)取得了顯著成果，但在某些需要大量內(nèi)容想象的場景中，如旋轉(zhuǎn)汽車的前部，仍存在一定的編輯難度。研究團(tuán)隊(duì)認(rèn)為，這主要?dú)w因于基礎(chǔ)模型SD的多樣性限制。未來，他們將繼續(xù)探索更先進(jìn)的模型架構(gòu)和訓(xùn)練策略，以進(jìn)一步拓展DiffEditor的應(yīng)用范圍和編輯能力。