文本直接生成多視角3D圖像，Meta推出創(chuàng)新模型
隨著擴散模型的不斷創(chuàng)新，文生圖領域出現(xiàn)了Midjourney、Stable Diffusion、DALL-E 3等一系列知名產品。
但在文本生成多視角3D圖像方面一直存在諸多技術難點，Meta和德國慕尼黑工業(yè)大學的研究人員聯(lián)合開發(fā)了創(chuàng)新模型——ViewDiff。
用戶通過文本、圖像或二者結合使用，就能生成高質量多視角3D圖像，可幫助游戲開發(fā)、元宇宙等行業(yè)快速構建模型。
根據(jù)測試數(shù)據(jù)顯示，ViewDiff生成的圖像在一致性和視覺質量方面非常出色，并將FID、KID的數(shù)據(jù)，分別提升了30%和37%。
論文地址：https://arxiv.org/abs/2403.01807
項目地址：https://lukashoel.github.io/ViewDiff/
目前，文本生成一致性、多視角3D圖像主要有三大難點：通常無法生成真實的背景環(huán)境，大多數(shù)只能在簡單或純色背景上渲染3D物體模型,缺乏與自然環(huán)境的融合；
生成圖像的質量和多樣性不理想，由于受限于訓練數(shù)據(jù)的規(guī)模,一些方法只能產生質量有限、風格單一的輸出；
缺乏多視角和一致性，大多數(shù)方法都是獨立生成單一視角,無法確保同一物體在不同視角下的幾何和外觀的一致性,這極大限制了3D圖像的實用性。
而ViewDiff使用了一種創(chuàng)新架構，先使用文生圖模型作為先驗知識和圖像流生成器，然后通過顯式的3D建模為圖像賦予生成一致性、多視角3D圖像的能力。
增強U-Net架構
為了使文生圖模型能夠有效捕獲3D幾何和全局風格,研究人員對原有U-Net架構進行了創(chuàng)新,添加了兩種新的層:跨幀注意力層和投影層。
1）跨幀注意力層：主要替換了U-Net中的標準自注意力層。不同于只關注單個圖像內部的特征,跨幀注意力層將每個圖像的特征與其他所有圖像的特征進行交互,實現(xiàn)了跨圖像的風格匹配。
2）投影層：雖然跨幀注意力層能協(xié)調全局風格,但它無法顯式地對3D幾何知識進行建模。
因此,研究人員又開發(fā)了投影層,將多視圖2D特征集成為一個顯式的3D體素特征,再將其渲染回2D特征,保證了輸出圖像的3D幾何一致性。
原U-Net架構在跨幀注意力層和投影層的增強下,使得ViewDiff能夠在各個尺度上對2D特征進行3D感知建模,并實現(xiàn)多視圖圖像的風格協(xié)調,最終生成一致性、高質量的3D圖像。
自回歸生成
?
為了在任意視角上生成更多的3D一致性圖像，ViewDiff開發(fā)了自回歸生成模塊，將允許從已生成的圖像繼續(xù)生成更多的圖像，以呈現(xiàn)不同的視角。
首先，給定一個初始圖像，可以是輸入的多視角生成的圖像中的任意一個。這個初始圖像將作為生成過程的起點。
然后初始圖像通過編碼器網絡，提取出特征表示。編碼器網絡通常由卷積層和池化層組成，用于逐漸減小特征圖的尺寸和提取高級語義特征。
接著編碼器的特征表示被送入解碼器網絡，解碼器網絡的結構與編碼器相反。解碼器逐漸增加特征圖的尺寸，并通過反卷積等操作生成更高分辨率的圖像。
解碼器的每個步驟都會生成一個新的圖像，并將其與之前生成的圖像進行疊加，形成一個新的輸入。
這個新的輸入將作為下一個步驟的輸入，以生成下一個新的圖像。通過不斷迭代生成新的圖像，使得ViewDiff能夠在任意視角上生成更多的3D一致性圖像。
本文轉自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
