2022 年是人工智能生成內(nèi)容（AI Generated Content，AIGC）爆發(fā)的一年，其中一個熱門方向就是通過文字描述（text prompt）來對圖片進行編輯。已有方法通常需要依賴在大規(guī)模數(shù)據(jù)集上訓練的生成模型，不僅數(shù)據(jù)采集和訓練成本高昂，且會導致模型尺寸較大。這些因素給技術落地于實際開發(fā)和應用帶來了較高的門檻，限制了 AIGC 的發(fā)展和創(chuàng)造力發(fā)揮。

針對以上痛點，網(wǎng)易互娛 AI Lab 與上海交通大學合作進行了研究，創(chuàng)新性地提出一套基于可微矢量渲染器的解決方案——CLIPVG，首次實現(xiàn)了在不依賴于任何生成模型的情況下，進行文字引導的圖像編輯。該方案巧妙地利用矢量元素的特性對優(yōu)化過程進行約束，因此不僅能夠避免海量數(shù)據(jù)需求和高昂的訓練開銷，在生成效果上也達到了最優(yōu)的水準。其對應的論文《CLIPVG: Text-Guided Image Manipulation Using Differentiable Vector Graphics》已被 AAAI 2023 收錄。

• 論文地址：https://arxiv.org/abs/2212.02122
• 開源代碼：https://github.com/NetEase-GameAI/clipvg

部分效果如下（按次序分別為人臉編輯、車型修改、建筑生成、改色、花紋修改、字體修改）。

在生成效果方面，CLIPVG 相比業(yè)界已知的其他方案，將語義準確度提高了 15.9%，生成質(zhì)量提高了 23.6%，即能夠自動編輯并輸出更貼合語義和無錯誤的圖像。在框架靈活性方面，由于 CLIPVG 可自動將像素圖像轉(zhuǎn)變?yōu)槭噶繄D形，它相比其他基于像素圖像的研究框架可更加靈活地對圖片顏色、形狀、子區(qū)域等進行獨立編輯。在應用場景方面，由于 CLIPVG 完全不依賴生成模型，因此可適用于更廣泛的場景，如人像風格化、卡通圖編輯、字體設計和自動上色等等，它甚至能夠?qū)崿F(xiàn)多文本條件下對一張圖的不同部分實現(xiàn)同時編輯。

思路和技術背景

從整體流程的角度，CLIPVG 首先提出了一種多輪矢量化方法，可魯棒地將像素圖轉(zhuǎn)換到矢量域，并適應后續(xù)的圖像編輯需求。然后定義了一種 ROI CLIP loss 作為損失函數(shù)，以支持對每個感興趣區(qū)域 (ROI) 使用不同文字進行引導。整個優(yōu)化過程通過可微矢量渲染器對矢量參數(shù) (如色塊顏色，控制點等) 進行梯度計算。

CLIPVG 融合了兩個領域的技術，一是像素域的文字引導圖像編輯，二是矢量圖像的生成。接下來會依次介紹相關的技術背景。

文字引導圖像翻譯

要讓 AI 在圖像編輯時”聽懂”文字引導，典型方法是利用對比圖文預訓練（Contrastive Language-Image Pre-Training，CLIP）模型。CLIP 模型可以將文字和圖像編碼到可比較的隱空間中，并給出”圖像是否符合文字描述”的跨模態(tài)相似度信息，從而建立起文字和圖像之間的語義聯(lián)系。然后，事實上僅僅使用 CLIP 模型很難直接對于圖像編輯進行有效引導，這是因為 CLIP 主要關注于圖像的高層語義信息，而對于像素級別的細節(jié)缺乏約束，導致優(yōu)化過程很容易陷入到局部最優(yōu)（local minimum）或者對抗性的解決方案（adversarial solutions）。

現(xiàn)有的常見方法是將 CLIP 和一個基于 GAN 或 Diffusion 的像素域生成模型相結(jié)合，例如 StyleCLIP （Patashnik et al, 2021），StyleGAN-NADA （Gal et al, 2022），Disco Diffusion （alembics 2022），DiffusionCLIP （Kim, Kwon, and Ye 2022），DALL·E 2 （Ramesh et al, 2022） 等等。這些方案利用生成模型來對圖像細節(jié)進行約束，從而彌補了單獨使用 CLIP 的缺陷。但同時，這些生成模型嚴重依賴于訓練數(shù)據(jù)和計算資源，并且會讓圖像編輯的有效范圍受到訓練集圖片的限制。受限于生成模型的能力，StyleCLIP，StyleGAN-NADA，DiffusionCLIP 等方法都只能將單個模型限制在某個特定的領域，比如人臉圖片。Disco Diffusion、DALL·E 2 等方法雖然能編輯任意圖片，但需要海量的數(shù)據(jù)和計算資源來訓練其對應的生成模型。

目前也有極少數(shù)不依賴于生成模型的方案，例如 CLIPstyler （Kwon and Ye 2022）。CLIPstyler 在優(yōu)化時會將待編輯圖像分為隨機小塊（random patch），并在每個 patch 上利用 CLIP 引導加強對于圖像細節(jié)的約束。問題是此時每個 patch 都會單獨反映輸入文字所定義的語義，導致該方案只能進行風格遷移（style transfer），而無法對圖像進行整體的高層語義編輯。

不同于以上的像素域方法，網(wǎng)易互娛 AI Lab 提出的 CLIPVG 方案通過矢量圖形的特性來對圖像細節(jié)進行約束，以取代生成模型。CLIPVG 可以支持任意輸入圖片，并能夠進行泛用型的圖像編輯。其輸出為標準的 svg 格式矢量圖形，不受分辨率的限制。

矢量圖像生成

一些現(xiàn)有工作考慮了文字引導的矢量圖形生成，例如 CLIPdraw (Frans, Soros, and Witkowski 2021)，StyleCLIPdraw (Schaldenbrand, Liu, and Oh 2022)等。典型的做法是將 CLIP 和一個可微矢量渲染器相結(jié)合，并從隨機初始化的矢量圖形開始逐漸逼近文字所表示的語義。其中用到的可微矢量渲染器為 Diffvg (Li et al. 2020)，能夠?qū)⑹噶繄D形通過可微渲染柵格化為像素圖。CLIPVG 同樣使用了 Diffvg 來建立矢量圖到像素圖之間的聯(lián)系，不同于已有方法的是 CLIPVG 關注如何對已有圖像進行編輯，而非直接生成。

由于已有圖像中的絕大多數(shù)都是像素圖，需要先進行矢量化才能夠利用矢量圖形特性進行編輯。現(xiàn)有的矢量化方法包括 Adobe Image Trace (AIT), LIVE (Ma et al. 2022)等，但是這些方法都沒有考慮后續(xù)的編輯需求。CLIPVG 在已有方法的基礎上引入了多輪矢量化的增強手段，以針對性提高圖像編輯時的魯棒性。

技術實現(xiàn)

CLIPVG 的總體流程如下圖所示。首先會對輸入的像素圖進行不同精度的多輪矢量化 (Multi-round Vectorization)，其中第 i 輪得到的矢量元素集合記為Θi。各輪得到的結(jié)果會被疊加到一起整體作為優(yōu)化對象，并通過可微矢量渲染 (Differentiable Rasterization) 轉(zhuǎn)換回到像素域。輸出圖片的起始狀態(tài)是輸入圖片的矢量化重建，然后按照文字描述的方向進行迭代優(yōu)化。優(yōu)化過程會根據(jù)每個 ROI 的區(qū)域范圍和關聯(lián)文字，計算 ROI CLIP loss (下圖中的)，并根據(jù)梯度優(yōu)化各個矢量元素，包括顏色參數(shù)和形狀參數(shù)。

整個迭代優(yōu)化的過程可見下例，其中的引導文字為”Jocker, Heath Ledger”（小丑，希斯 · 萊杰）。

矢量化

矢量圖形可以定義為矢量元素的集合，其中每個矢量元素由一系列參數(shù)控制。矢量元素的參數(shù)取決于其類型，以填充曲線 (filled curve) 為例，其參數(shù)為，其中是控制點參數(shù)，是 RGB 顏色和不透明度的參數(shù)。對矢量元素做優(yōu)化時存在一些自然的約束，比如一個元素內(nèi)部的顏色始終是一致的，其控制點之間的拓撲關系也是固定的。這些特性很好地彌補了 CLIP 對于細節(jié)約束的缺失，能夠極大增強優(yōu)化過程的魯棒性。

理論上來說，CLIPVG 可以借助任何一種已有方法來進行矢量化。但是研究發(fā)現(xiàn)這樣做會導致后續(xù)的圖像編輯出現(xiàn)幾個問題。首先，通常的矢量化方法能夠保證圖像在初始狀態(tài)時相鄰的矢量元素之間是嚴絲合縫的，但是各個元素會隨著優(yōu)化的過程發(fā)生移動，導致元素之間出現(xiàn)“裂縫”。其次, 有時候輸入圖像比較簡單，只需要少量矢量元素即可擬合，而文字描述的效果需要更加復雜的細節(jié)來表現(xiàn)，導致圖像編輯時缺失必要的原材料（矢量元素)。

針對以上問題， CLIPVG 提出了多輪矢量化的策略，每一輪會調(diào)用已有方法得到一個矢量化的結(jié)果，并進行依次疊加。每一輪會相對前一輪提高精度，即用更小塊的矢量元素進行矢量化。下圖體現(xiàn)了矢量化時不同精度的差異。

第 i 輪矢量化得到的矢量元素集合可以表示為, 而所有輪產(chǎn)生的結(jié)果疊加后得到的矢量元素集合記作，也就是 CLIPVG 總的優(yōu)化對象。

損失函數(shù)

類似于 StyleGAN-NADA 和 CLIPstyler，CLIPVG 使用了一個方向性的 CLIP 損失來度量生成圖像和描述文字之間的對應關系，其定義如下，

其中表示輸入的文字描述。是一個固定的參考文字，在 CLIPVG 中設為 "photo"，是生成的圖像（要優(yōu)化的對象）。是原始圖像。和分別是 CLIP 的文字和圖像編解碼器。ΔT 和ΔI 分別表示文字和圖像的隱空間方向。優(yōu)化該損失函數(shù)的目的是使得圖像編輯后的語義變化方向符合文字的描述。后面的公式中會忽略固定不變的 t_ref。在 CLIPVG 中，生成的圖像是矢量圖形經(jīng)過可微渲染的結(jié)果。此外，CLIPVG 支持對每一個 ROI 分配不同的文字描述。此時方向性的 CLIP loss 會轉(zhuǎn)化為如下的 ROI CLIP loss，

其中 Ai是第 i 個 ROI 區(qū)域，是其關聯(lián)的文字描述。R 是可微矢量渲染器，R(Θ)是渲染出來的整張圖像。是輸入的整張圖像。代表一個裁剪操作，表示從圖像 I 中將區(qū)域裁剪出來。CLIPVG 同時也支持了類似 CLIPstyler 中基于 patch 的增強方案，即從每個 ROI 中可以進一步隨機裁剪出多個 patch, 并根據(jù)該 ROI 對應的文字描述對每個 patch 分別計算 CLIP loss。

總的 loss 是所有區(qū)域的 ROI CLIP loss 之和，即

這里的一個區(qū)域可以是一個 ROI, 或是從 ROI 中裁剪出來的一個 patch。是各個區(qū)域?qū)?loss 權重。

CLIPVG 會根據(jù)以上損失函數(shù)對于矢量參數(shù)集合Θ進行優(yōu)化。優(yōu)化時也可以只針對Θ的一個子集，比如形狀參數(shù)、顏色參數(shù)，或者特定區(qū)域?qū)牟糠质噶吭亍?/span>

實驗結(jié)果

在實驗部分，CLIPVG 首先通過消融實驗驗證了多輪矢量化策略和矢量域優(yōu)化的有效性，然后和已有的 baseline 進行了對比，最后展示了特有的應用場景。

消融實驗

研究首先對比了多輪矢量化 (Multi-round) 策略和只進行一輪矢量化 (One-shot) 的效果。下圖中第一行是矢量化后的初始結(jié)果，第二行是編輯后的結(jié)果。其中 Nc表示矢量化的精度。可以看到多輪矢量化不僅提高了初始狀態(tài)的重建精度，并且能夠有效消除編輯后矢量元素之間的裂縫，并增強細節(jié)表現(xiàn)。

為了進一步研究矢量域優(yōu)化的特性，論文對比了 CLIPVG (矢量域方法) 和 CLIPstyler (像素域方法) 采用不同 patch size 進行增強時的效果。下圖中第一行為 CLIPVG 采用不同 patch size 的效果，第二行為 CLIPstyler 的效果。其文字描述為 "Doctor Strange"。整張圖的分辨率為 512x512。可以看到當 patch size 較小 (128x128 或 224x224) 時，CLIPVG 和 CLIPstyler 都會在局部小塊區(qū)域出現(xiàn) "Doctor Strange"（奇異博士）代表性的紅藍配色，但是整張臉的語義并沒有明顯變化。這是因為此時的 CLIP 引導沒有施加到圖片整體。當 CLIPVG 將 patch size 增加到 410x410 時可以看到明顯的人物身份變化，包括發(fā)型以及臉部特征都按照文字描述進行了有效編輯。如果去除 patch 增強，則語義編輯效果和細節(jié)清晰度都會有所下降，說明 patch 增強依然有正面效果。不同于 CLIPVG，CLIPstyler 在 patch 較大或去除 patch 時依然無法實現(xiàn)人物身份的變化，而只是改變了整體顏色和一些局部紋理。原因是 patch size 放大后像素域的方法失去了底層約束，而陷入到局部最優(yōu)。這一組對比說明 CLIPVG 能夠有效利用矢量域?qū)τ诩毠?jié)的約束，結(jié)合較大的 CLIP 作用范圍 (patch size) 實現(xiàn)高層語義編輯，這是像素域方法難以做到的。

對比實驗

在對比實驗中，研究首先將 CLIPVG 和兩種能對任意圖片進行編輯的像素域方法進行了對比，包括 Disco Diffusion 和 CLIPstyler，下圖中可以看到對于 "Self-Portrait of Vincent van Gogh" 的例子，CLIPVG 能夠同時對于人物身份和繪畫風格進行編輯，而像素域方法只能達到其中的一項。對于 "Gypsophila"，CLIPVG 相對 baseline 方法能更精確地編輯花瓣的數(shù)量和形狀。在 "Jocker, Heath Ledger" 和 "A Ford Mustang" 的例子中，CLIPVG 也能魯棒地改變整體語義，相對來說 Disco Diffusion 容易出現(xiàn)局部瑕疵，而 CLIPstyler 一般只是調(diào)整了紋理和顏色。

?

（自上而下：梵高畫、滿天星、希斯萊杰小丑、福特野馬）

研究者接著對比了針對特定領域圖片 (以人臉為例) 的像素域方法，包括 StyleCLIP、DiffusionCLIP 和 StyleGAN-NADA。由于對使用范圍進行了限制，這些 baseline 方法的生成質(zhì)量通常更為穩(wěn)定。CLIPVG 在這組對比中依然展現(xiàn)了不遜于已有方法的效果，尤其是和目標文字的符合程度往往更高。

（自上而下：奇異博士、異鬼、僵尸）

更多應用

利用矢量圖形的特性以及 ROI 級別的損失函數(shù)，CLIPVG 能夠支持一系列已有方法難以實現(xiàn)的創(chuàng)新玩法。比如本文一開始展示的多人圖的編輯效果，就是通過對于不同人物定義不同的 ROI 級別文字描述實現(xiàn)的。下圖的左邊為輸入，中間為 ROI 級別文字描述的編輯結(jié)果，右邊為整張圖只有一個整體文字描述的結(jié)果。其中 A1 到 A7 區(qū)域?qū)拿枋龇謩e為 1. "Justice League Six"（正義聯(lián)盟），2. "Aquaman"（海王），3. "Superman"（超人），4. "Wonder Woman"（神奇女俠），5. "Cyborg"（鋼骨），6. "Flash，DC Superhero"（閃電俠，DC） 和 7. "Batman"（蝙蝠俠）。可以看到 ROI 級別的描述可以對各個人物進行分別編輯，而整體描述則無法生成有效的個體身份特征。由于各個 ROI 互相之間是有重疊的，已有方法即使對每個人物單獨編輯，也很難達到 CLIPVG 的整體協(xié)調(diào)性。

CLIPVG 還可以通過優(yōu)化一部分的矢量參數(shù)，實現(xiàn)多種特殊的編輯效果。下圖中第一行展示了只編輯部分區(qū)域的效果。第二行展示了鎖定顏色參數(shù)，只優(yōu)化形狀參數(shù)的字體生成效果。第三行和第二行相反，通過只優(yōu)化顏色參數(shù)來達到重新上色的目的。

?

（自上而下：子區(qū)域編輯、字體風格化、圖像改色）