本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

最新“只用一張圖轉3D”方法火了，高保真那種。

對比之前一眾方法，算得上跨越式提升。（新方法在最后一行）

挑出一個結果放大來看，幾何結構細節豐富，渲染分辨率也高達1024x1024。

新方法Magic123，來自KAUST、Snap和牛津聯合團隊，一作為KAUST博士生錢國成。

只需輸入單個圖像，不光生成高質量3D網格，連有視覺吸引力的紋理也一起打包生成。

甚至論文剛掛在arXiv上，代碼還沒來得及上傳時，就已經有300+人趕來標星碼?。槺愦吒?。

從粗到精，兩階段方案

以往2D轉3D最常見方法就是NeRF。但NeRF不光占顯存高，分辨率還低。

論文中指出，即使資源效率更高的Instant-NGP方案在16G顯存GPU上也只能達到128x128的分辨率。

為進一步提高3D內容的質量，團隊在NeRF之后引入了第二階段，采用DMTet算法將分辨率提高到1024x1024，并且細化NeRF得出的幾何結構和紋理。

對于僅有一張的2D參考圖像，首先使用現成的Dense Prediction Transformer模型進行分割，再使用預訓練的MiDaS提取深度圖，用于后續優化。

然后進入第一步粗階段，采用Instant-NGP并對其進行優化，快速推理并重建復雜幾何，但不需要太高分辨率，點到為止即可。

在第二步精細階段，在用內存效率高的DMTet方法細化和解耦3D模型。DMTet是一種混合了SDF體素和Mesh網格的表示方法，生成可微分的四面體網格。

并且在兩個階段中都使用Textural inversion來保證生成與輸入一致的幾何形狀和紋理。

團隊將輸入圖像分為常見對象（如玩具熊）、不太常見對象（如兩個疊在一起的甜甜圈）、不常見對象（如龍雕像）3種。

發現僅使用2D先驗信息可以生成更復雜的3D結構，但與輸入圖像的一致性不高。

僅使用3D先驗信息能產生精確但缺少細節的幾何體。

團隊建議綜合使用2D和3D先驗，并經過反復試驗，最終找到了二者的平衡點。

2D先驗信息使用了Stable Diffusion 1.5，3D先驗信息使用了哥倫比亞大學/豐田研究所提出的Zero-1-to-3。

在定性比較中，結合兩種先驗信息的Magic123方法取得了最好的效果。

在定量比較中，評估了Magic123在NeRF4和RealFusion15數據集上的表現，與之前SOTA方法相比在所有指標上取得Top-1成績。

那么Magic123方法有沒有局限性呢？

也有。

在論文最后，團隊指出整個方法都建立在“假設參考圖像是正視圖”的基礎上，輸入其他角度的圖像會導致生成的幾何性質較差。

比如從上方拍攝桌子上的食物，就不適合用這個方法了。

另外由于使用了SDS損失，Magic123傾向于生成過度飽和的紋理。尤其是在精細階段，更高分辨率會放大這種問題。

項目主頁：https://guochengqian.github.io/project/magic123/

論文：https://arxiv.org/abs/2303.11328

GitHub：https://github.com/guochengqian/Magic123