UIUC提出InstructG2I：從多模態(tài)屬性圖合成圖像?，結(jié)合文本和圖信息生成內(nèi)容更豐富有趣！

作者：AIGC Studio 2025-01-16 11:00:00

本文確定了多模態(tài)屬性圖 (MMAG) 上的圖像合成問題。并提出了一個(gè)圖形上下文條件擴(kuò)散模型。

今天給大家介紹的這項(xiàng)工作是伊利諾伊大學(xué)厄巴納-香檳分校的研究者們提出的一個(gè)新任務(wù) Graph2Image，其特點(diǎn)是通過調(diào)節(jié)圖信息來合成圖像，并引入了一種名為InstructG2I的新型圖調(diào)節(jié)擴(kuò)散模型來解決這個(gè)問題。

在INSTRUCTG2I的工作中，研究者們開發(fā)了一種新方法來生成圖像，這種方法不僅依賴于文本描述，還考慮到圖中其他相關(guān)信息。想象一下，如果你要畫一幅畫，除了有一個(gè)簡(jiǎn)單的描述，比如“雪中的房子”，你還可以參考與這個(gè)房子相關(guān)的其他房子或景物的信息。INSTRUCTG2I首先會(huì)找出與目標(biāo)圖像最相關(guān)的鄰居圖像，這些圖像是通過一種叫做個(gè)性化頁面排名的技術(shù)來選擇的。接著，它會(huì)使用一種特殊的模型（Graph-QFormer）來理解這些鄰居圖像與目標(biāo)圖像之間的關(guān)系，然后把這些信息與文本描述結(jié)合起來，最終生成一幅新圖像。這樣，生成的圖像不僅能符合描述，還能融入其他相關(guān)圖像的風(fēng)格和特征，確保生成的內(nèi)容更豐富、更有趣。

論文閱讀

InstructG2I：從多模態(tài)屬性圖合成圖像

摘要

在本文中，我們研究了一個(gè)被忽視但關(guān)鍵的任務(wù)Graph2Image：從多模態(tài)屬性圖（MMAG）生成圖像。由于圖大小的爆炸性增長(zhǎng)、圖實(shí)體之間的依賴關(guān)系以及圖條件的可控性需求，該任務(wù)提出了重大挑戰(zhàn)。為了解決這些挑戰(zhàn)，我們提出了一種稱為InstructG2I 的圖上下文條件擴(kuò)散模型。 InstructG2I首先利用圖結(jié)構(gòu)和多模態(tài)信息，通過結(jié)合個(gè)性化頁面排名和基于視覺語言特征的重新排名來進(jìn)行信息鄰居采樣。然后，Graph-QFormer 編碼器自適應(yīng)地將圖節(jié)點(diǎn)編碼為輔助圖提示集，以指導(dǎo)擴(kuò)散的去噪過程。最后，我們提出了無圖分類器的指導(dǎo)，通過改變圖指導(dǎo)的強(qiáng)度和節(jié)點(diǎn)的多個(gè)連接邊來實(shí)現(xiàn)可控生成。對(duì)來自不同領(lǐng)域的三個(gè)數(shù)據(jù)集進(jìn)行的廣泛實(shí)驗(yàn)證明了我們方法的有效性和可控性。

方法

InstructG2I 的整體框架。 （a）給定多模態(tài)屬性圖 (MMAG) 中帶有文本提示的目標(biāo)節(jié)點(diǎn)（例如，雪中的房子），我們希望為其生成圖像，（b）我們首先執(zhí)行基于語義 PPR 的鄰居采樣，這涉及結(jié)構(gòu)感知的個(gè)性化 PageRank 和基于語義感知的相似性的重新排序，以在圖中采樣信息豐富的鄰居節(jié)點(diǎn)。（c）然后將這些鄰居節(jié)點(diǎn)輸入到 Graph-QFormer 中，由多個(gè)自注意和交叉注意層編碼，表示為圖形標(biāo)記并與文本提示標(biāo)記一起用于指導(dǎo)擴(kuò)散模型的去噪過程。