已經(jīng)紅遍半邊天的擴散模型，將被淘汰了？

當前，生成式AI模型，比如GAN、擴散模型或一致性模型，通過將輸入映射到對應目標數(shù)據(jù)分布的輸出，來生成圖像。

通常情況下，這種模型需要學習很多真實的圖片，然后才能盡量保證生成圖片的真實特征。

最近，來自UC伯克利和谷歌的研究人員提出了一種全新生成模型——冪等生成網(wǎng)絡（IGN）。

圖片

論文地址：https://arxiv.org/abs/2311.01462

IGNs可以從各種各樣的輸入，比如隨機噪聲、簡單的圖形等，通過單步生成逼真的圖像，并且不需要多步迭代。

這一模型旨在成為一個「全局映射器」（global projector），可以把任何輸入數(shù)據(jù)映射到目標數(shù)據(jù)分布。

簡言之，通用圖像生成模型未來一定是這樣的。

有趣的是，《宋飛正傳》中一個高效的場景竟成為作者的靈感來源。

圖片

這個場景很好地總結(jié)了「冪等運算符」（idempotent operator）這一概念，是指在運算過程中，對同一個輸入重復進行運算，得到的結(jié)果總是一樣的。

即

圖片

。

正如Jerry Seinfeld幽默地指出的那樣，一些現(xiàn)實生活中的行為也可以被認為是冪等的。

冪等生成網(wǎng)絡

IGN與GAN、擴散模型有兩點重要的不同之處：

- 與GAN不同的是，IGN無需單獨的生成器和判別器，它是一個「自對抗」的模型，同時完成生成和判別。

- 與執(zhí)行增量步驟的擴散模型不同，IGN嘗試在單個步中將輸入映射到數(shù)據(jù)分布。

那么，冪等生成模型（IGN）怎么來的？

它被訓練為從源分布給定輸入樣本的目標分布，生成樣本。

給定示例數(shù)據(jù)集，每個示例均取自。然后，研究人員訓練模型將映射到。

假設分布和位于同一空間，即它們的實例具有相同的維度。這允許將應用于兩種類型的實例和。

如圖展示了IGN背后的基本思想：真實示例 (x) 對于模型 f 是不變的。其他輸入 (z) 被映射到f通過優(yōu)化映射到自身的實例流上。

圖片

IGN訓練例程PyTorch代碼的一部分示例。

圖片

實驗結(jié)果

得到IGN后，效果如何呢？

作者承認，現(xiàn)階段，IGN的生成結(jié)果無法與最先進的模型相競爭。

在實驗中，使用的較小的模型和較低分辨率的數(shù)據(jù)集，并在探索中主要關注簡化方法。

當然了，基礎生成建模技術，如GAN、擴散模型，也是花了相當長的時間才達到成熟、規(guī)模化的性能。

實驗設置

研究人員在MNIST（灰度手寫數(shù)字數(shù)據(jù)集）和 CelebA（人臉圖像數(shù)據(jù)集）上評估IGN，分別使用28×28和64×64的圖像分辨率。

作者采用了簡單的自動編碼器架構(gòu)，其中編碼器是來自DCGAN的簡單五層鑒別器主干，解碼器是生成器。訓練和網(wǎng)絡超參數(shù)如表1所示。

圖片

生成結(jié)果

圖4顯示了應用模型一次和連續(xù)兩次后兩個數(shù)據(jù)集的定性結(jié)果。

如圖所示，應用IGN 一次 (f (z)) 會產(chǎn)生相干生成結(jié)果。然而，可能會出現(xiàn)偽影，例如MNIST數(shù)字中的孔洞，或者面部圖像中頭頂和頭發(fā)的扭曲像素。

再次應用 f (f (f (z))) 可以糾正這些問題，填充孔洞，或減少面部噪聲斑塊周圍的總變化。

圖片

圖7顯示了附加結(jié)果以及應用f三次的結(jié)果。

圖片

比較和表明，當圖像接近學習流形時，再次應用f會導致最小的變化，因為圖像被認為是分布的。

潛在空間操縱

作者通過執(zhí)行操作證明IGN具有一致的潛在空間，與GAN所示的類似，圖6顯示了潛在空間算法。

圖片

分布外映射

作者還驗證通過將來自各種分布的圖像輸入到模型中以生成其等效的「自然圖像」，來驗證IGN「全局映射」的潛力。

研究人員通過對噪聲圖像x+n 進行去噪、對灰度圖像進行著色，以及將草圖轉(zhuǎn)換為圖5中的真實圖像來證明這一點。

原始圖像x，這些逆任務是不適定的。IGN能夠創(chuàng)建符合原始圖像結(jié)構(gòu)的自然映射。

如圖所示，連續(xù)應用f可以提高圖像質(zhì)量（例如，它消除了投影草圖中的黑暗和煙霧偽影）。

圖片

谷歌下一步？

通過以上結(jié)果可以看出，IGN在推理方面更加有效，在訓練后只需單步即可生成結(jié)果。

它們還可以輸出更一致的結(jié)果，這可能推廣到更多的應用中，比如醫(yī)學圖像修復。

論文作者表示：

我們認為這項工作是邁向模型的第一步，該模型學習將任意輸入映射到目標分布，這是生成建模的新范式。

接下來，研究團隊計劃用更多的數(shù)據(jù)來擴大IGN的規(guī)模，希望挖掘新的生成式AI模型的全部潛力。

最新研究的代碼，未來將在GitHub上公開。

參考資料：

https://assafshocher.github.io/IGN/

https://the-decoder.com/inspired-by-seinfeld-google-unveils-new-ai-model-for-image-generation/