只需兩分鐘，玩轉圖片轉3D！

還是高紋理質量、多視角高一致性的那種。

不管是什么物種，輸入時的單視圖圖像還是這樣嬸兒的：

兩分鐘后，3D版大功告成：

△上，Repaint123（NeRF）；下，Repaint123（GS）

新方法名為Repaint123，核心思想是將2D擴散模型的強大圖像生成能力與再繪策略的紋理對齊能力相結合，來生成高質量、多視角一致的圖像。

此外，該研究還引入了針對重疊區域的可見性感知自適應再繪強度的方法。

Repaint123一舉解決了此前方法多視角偏差大、紋理退化、生成慢等問題。

目前項目代碼還未在GitHub公布，就有100+人趕來標星碼住：

Repaint123長啥樣？

之前，將圖像轉換為3D的方法通常采用Score Distillation Sampling (SDS)。盡管該方法的結果令人印象深刻，但存在一些問題，如多視角不一致、過度飽和、過度平滑的紋理以及生成速度緩慢。

△從上至下：輸入，Zero123-XL，Magic123，Dream gaussian

為了解決這些問題，來自北京大學、鵬城實驗室、新加坡國立大學、武漢大學的研究人員提出了Repaint123。

總的來說，Repaint123有這幾點貢獻：

（1）Repaint123通過綜合考慮圖像到3D生成的可控重繪過程，能夠生成高質量的圖片序列，并確保這些圖片在多個視角下保持一致。

（2）Repaint123提出了一個簡單的單視圖3D生成的基準方法。

在粗模階段，它利用Zero123作為3D先驗，并結合SDS損失函數，通過優化Gaussian Splatting幾何，快速生成粗糙的3D模型（僅需1分鐘）。

在細模階段，它采用Stable Diffusion作為2D先驗，并結合均方誤差（MSE）損失函數，通過快速細化網格紋理，生成高質量的3D模型（同樣只需1分鐘）。

（3）大量的實驗證明了Repaint123方法的有效性。它能夠在短短2分鐘內，從單張圖像中生成與2D生成質量相匹配的高質量3D內容。

△實現3D一致且高質量的單視角3D快速生成

下面來看具體方法。

Repaint123專注于優化mesh細化階段，其主要改進方向涵蓋兩個方面：生成具有多視角一致性的高質量圖像序列以及實現快速而高質量的3D重建。

1、生成具有多視角一致性的高質量圖像序列

生成具有多視角一致性的高質量圖像序列分為以下三個部分:

△多視角一致的圖像生成流程

DDIM反演

為了保留在粗模階段生成的3D一致的低頻紋理信息，作者采用了DDIM反演將圖像反演到確定的潛在空間，為后續的去噪過程奠定基礎，生成忠實一致的圖像。

可控去噪

為了在去噪階段控制幾何一致性和長程紋理一致性，作者引入了ControlNet，使用粗模渲染的深度圖作為幾何先驗，同時注入參考圖的Attention特征進行紋理遷移。

此外，為了執行無分類器引導以提升圖像質量，論文使用CLIP將參考圖編碼為圖像提示，用于指導去噪網絡。

重繪

漸進式重繪遮擋和重疊部分為了確保圖像序列中相鄰圖像的重疊區域在像素級別對齊，作者采用了漸進式局部重繪的策略。

在保持重疊區域不變的同時，生成和諧一致的相鄰區域，并從參考視角逐步延伸到360°。

然而，如下圖所示，作者發現重疊區域同樣需要進行細化，因為在正視時之前斜視的區域的可視分辨率變大，需要補充更多的高頻信息。

另外，細化強度等于1-cosθ*，其中θ*為之前所有相機視角與所視表面法向量夾角θ的最大值，從而自適應地重繪重疊區域。

△相機視角與細化強度的關系

為了選擇適當的細化強度，以在提高質量的同時保證忠實度，作者借鑒了投影定理和圖像超分的思想，提出了一種簡單而直接的可見性感知的重繪策略來細化重疊區域。

2、快速且高質量的3D重建

正如下圖所展示的，作者在進行快速且高質量的3D重建過程中，采用了兩階段方法。

△Repaint123兩階段單視角3D生成框架

首先，他們利用Gaussian Splatting表示來快速生成合理的幾何結構和粗糙的紋理。

同時，借助之前生成的多視角一致的高質量圖像序列，作者能夠使用簡單的均方誤差（MSE）損失進行快速的3D紋理重建。

一致性、質量和速度最優

研究人員對多個單視圖生成任務的方法進行了比較。

△單視圖3D生成可視化比較

在RealFusion15和Test-alpha數據集上，Repaint123取得了在一致性、質量和速度三個方面最領先的效果。

同時，作者也對論文使用的每個模塊的有效性以及視角轉動增量進行了消融實驗:

并且發現，視角間隔為60度時，性能達到峰值，但視角間隔過大會減少重疊區域，增加多面問題的可能性，所以40度可作為最佳視角間隔。

論文地址：https://arxiv.org/pdf/2312.13271.pdf
代碼地址：https://pku-yuangroup.github.io/repaint123/
項目地址：https://pku-yuangroup.github.io/repaint123/