AI打造“魔法博物館”,五分鐘完成一件“3D展品”
注意看,這是一家“魔法博物館”,陳列的展品琳瑯滿目,甚至還有機甲套裝……
魔法鏡子、水晶法杖……也是一應俱全,仿佛真的進入了魔法世界。
沒錯,這個“博物館”里的“展品”全都是由AI打造的,而且一件只需要五分鐘。
來自南洋理工大學、上海AI實驗室等機構的研究人員,共同推出了新款文生3D基礎模型3DTopia。
只需要一組文本,它就可以在5分鐘內生成出多樣化、高精度的3D模型。
除了“魔法博物館”里的展品之外,日常的物品3DTopia更是可以精準合成。
比如老板心血來潮想要布置一下辦公室,它就能建立出桌椅擺件的樣子,甚至桌子上的咖啡也一起“準備”好了。
就算天馬行空一些也沒關系,只要人能想到,它可以建立出一套月球的“沙盤”。
那么,該怎么用3DTopia來創建3D模型呢?
推理分兩階段進行
3DTopia的推理過程是分為兩個階段進行的,第一個階段會根據提示詞生成點云格式的粗糙模型。
比如當我們讓它生成一個機器人模型時,第一階段得到的模型是長這樣的:
第二階段就是用該團隊推出的theeefiner對這個粗糙的點云進行細化,并完成上色等操作。
經過優化theeefiner的之后,這個機器人模型終于變成了人類熟悉的樣子。
所以,實際操作過程也需要對這兩部分用到的工具分別進行部署。
首先拉取3DTopia的文件,然后用conda創建虛擬環境并完成安裝,接著還要安裝另一份教程部署第二階段要用到的threefiner。
部署完成之后,還得到HuggingFace上下載一個checkpoint文件并放到指定目錄。
整個過程難度倒也不算大,但是對于小白來說操作起來可能也得費一番功夫。
所以,如果這個部署過程看上去過于繁瑣,這里還有一份大神改編的Colab筆記。
利用這份筆記,只需要修改其中的提示詞和文件名,部署過程則是一鍵完成,不過實測需要選擇A100才能完美運行。
這份筆記將第二階段拆分成了兩個子步驟,所以部署完之后一共需要運行三段代碼,修改提示詞的方式如下圖。
其中stage1生成的文件名可以點擊左側的文件夾圖標,就可以在3DTopia - results目錄下找到,stage1目錄下同時還會生成初稿的預覽視頻。
最終的成品模型,則是默認存在了stage2目錄中。
不過需要注意的是,目前筆記的第2-2步存在一處小錯誤,運行之前需要在threefiner前加上一個英文感嘆號,否則無法正常運行。
GitHub:https://github.com/3DTopia/3DTopia
Colab筆記:https://colab.research.google.com/github/camenduru/3DTopia-jupyter/blob/main/3DTopia_jupyter.ipynb