30秒生成建模師級Mesh！最大可生成面數(shù)提升至1600，GitHub攬星1.9k項目發(fā)布V2版本
只需30秒，AI就能像3D建模師一樣，在各種指示下生成高質(zhì)量人造Mesh。
NeRF、3D Gaussian Splatting生成的三維重建圖像Mesh效果如下：
點云造出精細Mesh：
Dense Mesh基礎上生成也可以：
一張圖，甚至文本描述就足夠了：
GitHub已攬星1.9k的MeshAnything項目上新了V2版本，由來自南洋理工大學、清華大學、帝國理工學院、西湖大學等研究人員完成。
MeshAnything V2相比V1，使用了最新提出的Adjacent Mesh Tokenization（AMT）算法，將最大可生成面數(shù)從800提升到了1600。
相比之前的Mesh tokenization方法，AMT平均只需要一半長度的token sequence即可表達同一個Mesh。
這項研究一經(jīng)發(fā)布也迅速得到不少網(wǎng)友關注。
那么，MeshAnything究竟是一種怎樣的方法？MeshAnything V2做了哪些改進？
高度可控的人造Mesh生成
值得注意的是，雖然AI很早就能夠生成Mesh了，但這與上面所展示的生成人造Mesh有著巨大區(qū)別。
團隊表示，所有之前方法，例如Marching Cubes和Get3D，生成的Mesh都是面片非常稠密的Mesh，面片數(shù)往往是人造Mesh的數(shù)百倍，幾乎不可能應用于游戲，電影等實際3D工業(yè)。
并且由于它們的面片結構不符合人類直覺，3D建模師很難再對其進行細致的加工。
如下圖所示，這一問題沒法簡單地依靠remesh來解決，在不影響效果的前提下，remesh方法雖然僅僅能夠小幅度地減少面片：
而上述問題直接影響了3D研究應用于工業(yè)界。
3D工業(yè)界的pipeline幾乎全以人造Mesh作為3D表征，即使3D研究領域能產(chǎn)出精度極高的NeRF或者3D Gaussian，但沒法將它們轉(zhuǎn)化為工業(yè)界能應用的Mesh的話，應用將十分受限。
因此，之前?研究團隊提出了MeshAnything，旨在實現(xiàn)高度可控的人造Mesh生成。
MeshAnything是一個自回歸的transformer，其將Mesh的每個面片視作token，整個Mesh被視作token序列，接著像大語言模型一樣，一個token一個token地生成，最終生成出整個Mesh。
MeshAnything運用精妙的condition設計，其將點云作為condition來實現(xiàn)高度可控的人造Mesh生成：
MeshAnything以點云為condition的設計讓其可以與諸多3D掃描，3D重建，3D生成的方法結合。
這些種類繁多的方法最終得到的3D表示雖然多樣，但總能從中采樣到點云，從而輸入到MeshAnything中轉(zhuǎn)為人造Mesh，幫助這些能輸出3D模型的工作運用到實際3D工業(yè)中。
另外，這種設計還大大降低了MeshAnything的訓練難度，提高了效果。因為點云提供了精細的3D形狀信息，MeshAnything不需要去學習復雜的3D形狀分布，只需要學習如何搭建出符合給定點云的人造Mesh。
MeshAnything V2有何提升？
MeshAnything V2在V1版本的基礎上大幅度提高了性能，并將最大可生成面數(shù)800提升到了1600。
其主要提升來源于其新提出的Adjacent Mesh Tokenization（AMT）算法。
相比之前的Mesh tokenization方法，AMT平均只需要一半長度的token sequence即可表達同一個Mesh。
由于transformer的計算是n^2復雜度，一半長度的token sequence意味著降低了4倍的attention計算量。并且AMT得到的token sequence更加緊湊，結構更好，更有利于transformer的學習。
AMT是通過盡可能地僅僅用一個vertex來表達一個一個面片來實現(xiàn)上述進步的：
上圖清晰地表達出了AMT的運作過程，其通過優(yōu)先表達相鄰的面片來用1個vertex表達一個面片。當不存在相鄰的沒表達過的面片，AMT添加一個特殊token “&”來標識這一情況并重新開始。
在AMT的幫助下，V2在性能和效率上大幅超過之前的方法，實現(xiàn)了高質(zhì)量的人造Mesh生成。
在訓練數(shù)據(jù)上，MeshAnything使用ShapeNet和Objaverse中的人造Mesh，將這些Mesh展開成token sequence之后使用cross-entropy loss監(jiān)督。
V1和V2都僅僅使用了350m的transformer架構，100K的訓練數(shù)據(jù)就得到了以上結果，表明該方向還有非常大scale up潛力。
更多結果如下：
V1項目主頁:
???https://buaacyw.github.io/mesh-anything/???
V2項目主頁:
https://buaacyw.github.io/meshanything-v2/
本文轉(zhuǎn)自 量子位 ，作者：量子位
