受益于預(yù)訓(xùn)練的大型語(yǔ)言模型和圖像擴(kuò)散模型（Satble Diffusion等）的可用性，自動(dòng)化三維內(nèi)容生成近期取得了快速進(jìn)展。

現(xiàn)有的文本到三維模型的生成方法通常使用NeRF等隱式表達(dá)，通過(guò)體積渲染將幾何和外觀耦合在一起，但在恢復(fù)更精細(xì)的幾何結(jié)構(gòu)和實(shí)現(xiàn)逼真渲染方面存在不足，所以在生成高質(zhì)量三維資產(chǎn)方面效果較差。

在這項(xiàng)研究中，華南理工大學(xué)提出了一種用于高質(zhì)量文本到三維內(nèi)容創(chuàng)建的新方法Fantasia3D，關(guān)鍵之處在于對(duì)幾何和外觀進(jìn)行解耦的建模和學(xué)習(xí)。

圖片

項(xiàng)目地址：https://fantasia3d.github.io/

對(duì)于幾何學(xué)習(xí)，F(xiàn)antasia3D依賴于顯隱式結(jié)合的表達(dá)，并提出將渲染的表面法線圖編碼為Satble Diffusion的輸入；對(duì)于外觀建模，F(xiàn)antasia3D引入了空間變化的雙向反射率分布函數(shù)（BRDF）到文本生成三維模型的任務(wù)中，并學(xué)習(xí)生成表面的逼真渲染所需的表面材質(zhì)。

解耦框架兼容目前的圖形引擎，支持生成的三維資源的重新照明、編輯和物理仿真。

研究人員也進(jìn)行了全面的實(shí)驗(yàn)，展示了該方法在不同的文本到三維生成任務(wù)設(shè)置下相對(duì)于現(xiàn)有方法的優(yōu)勢(shì)。

模型效果

對(duì)于給定的文本，F(xiàn)antasia3D能夠生成具有不同拓?fù)湫螤畹娜S模型以及具有照片級(jí)真實(shí)感的渲染表面。

同時(shí)，如下圖1中右上角的獅子所示，由于使用了BRDF建模表面，F(xiàn)antasia3D能產(chǎn)生較強(qiáng)的金屬反射效果。

圖1：三維模型生成效果

同時(shí)，F(xiàn)antasia3D支持根據(jù)用戶給定的粗糙三維物體和文本進(jìn)行生成。

如下圖2所示，給定一個(gè)粗糙的三維模型，F(xiàn)antasia3D可將輸入的粗糙模型作為初始化生成三維模型，這種優(yōu)化方式可讓生成過(guò)程更加快速和穩(wěn)定，緩解文本到三維模型生成中的多面問(wèn)題（Janus Problem）。

圖2：根據(jù)用戶給定的粗糙三維模型和文本進(jìn)行生成。

另外，不同于現(xiàn)有的基于隱式表達(dá)（NeRF等）的方法，F(xiàn)antasia3D采用了顯隱式相結(jié)合的表達(dá)，生成的3D資產(chǎn)可以很好地與現(xiàn)有的圖形渲染和仿真引擎相結(jié)合。

如下圖3 (a) (b) 所示，生成的三維模型可以導(dǎo)入Blender中進(jìn)行布料和軟體的物理仿真，圖3 (c) 則展示了用Blender替換生成材質(zhì)的實(shí)驗(yàn)結(jié)果。

圖3: 在Blender中進(jìn)行編輯。

如下圖4 (a) 所示，F(xiàn)antasia3D生成的模型還可在Blender中替換不同的光照，從而產(chǎn)生不同的渲染效果。

(b) 中展示了將Fantasia3D生成的物體插入其他場(chǎng)景中的能力，插入的物體能與原環(huán)境中的光照環(huán)境進(jìn)行交互，從而產(chǎn)生自然的反射效果。

圖4: 給生成物體進(jìn)行重新打光。

原理方法

Fantasia3D的方法概覽如下圖5所示。我們的方法可以根據(jù)文本提示生成解耦的幾何和外觀（見(jiàn)圖 (a) ），二者分別通過(guò) (b) 幾何建模和 (c) 外觀建模生成。

在 (b) 中，我們采用DMTet作為我們的三維幾何表示，這里初始化為一個(gè)三維橢球體。

為了優(yōu)化DMTet的參數(shù)，我們將從DMTet提取的網(wǎng)格的法線貼圖（在早期訓(xùn)練階段還會(huì)同時(shí)使用物體掩碼）渲染為Stable Diffusion的形狀編碼。

在 (c) 中，對(duì)于外觀建模，我們引入了空間變化的雙向反射率分布函數(shù)（BRDF）建模，并學(xué)習(xí)預(yù)測(cè)外觀的三個(gè)分量（即kd、krm和kn）。幾何和外觀建模都由分?jǐn)?shù)蒸餾采樣損失函數(shù)（SDS loss）進(jìn)行監(jiān)督。

圖5: Fantasia3D流程圖。

總結(jié)

本文介紹了一種名為Fantasia3D的自動(dòng)化文本到三維生成的新方法，基于DMTet的混合表達(dá)，采用幾何和外觀的解耦建模和學(xué)習(xí)，能夠生成精細(xì)的表面和豐富的材質(zhì)/紋理。

對(duì)于幾何學(xué)習(xí)，研究人員提出將渲染的法線貼圖編碼，并將法線的形狀編碼作為預(yù)訓(xùn)練的Stable Diffusion的輸入。

對(duì)于外觀建模，引入了空間變化的BRDF到文本生成三維對(duì)任務(wù)中，從而實(shí)現(xiàn)對(duì)學(xué)習(xí)表面的逼真渲染所需的材質(zhì)的學(xué)習(xí)。

除了文本提示外，該方法還可以根據(jù)自定義的三維形狀來(lái)生成，這對(duì)用戶來(lái)說(shuō)更加靈活，可以更好地控制生成的內(nèi)容。

另外，該方法還方便支持生成的三維資產(chǎn)的重新照明、編輯和物理仿真。

作者介紹

陳銳是一名華南理工大學(xué)的在讀研一學(xué)生，導(dǎo)師是賈奎教授。他的研究興趣在于計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的結(jié)合，特別是使用生成模型和基于物理的渲染技術(shù)創(chuàng)建高質(zhì)量的3D資產(chǎn)領(lǐng)域。

個(gè)人主頁(yè)：https://cyw-3d.github.io/

陳永煒，華南理工大學(xué)GorillaLab研究生三年級(jí)。師從賈奎教授，研究方向?yàn)槿S視覺(jué)，多模態(tài)學(xué)習(xí)，可微渲染，擴(kuò)散模型等，相關(guān)研究工作曾在CVPR、ECCV、NeurIPS、ICCV等計(jì)算機(jī)視覺(jué)和人工智能頂級(jí)會(huì)議上發(fā)表。近期研究方向側(cè)重探索能夠自動(dòng)生成3D資產(chǎn)的AI模型，包括材質(zhì)、形狀、動(dòng)作和其他相關(guān)參數(shù)。

個(gè)人主頁(yè)：http://kuijia.site/

賈奎，華南理工大學(xué)教授，幾何感知與智能實(shí)驗(yàn)室主任，廣東省「珠江人才計(jì)劃」創(chuàng)新創(chuàng)業(yè)團(tuán)隊(duì)帶頭人。曾先后于中科院深圳先進(jìn)技術(shù)研究院、香港中文大學(xué)、伊利諾伊大學(xué)香檳分校先進(jìn)數(shù)字科學(xué)研究中心、及澳門(mén)大學(xué)從事教學(xué)和科研工作。

研究領(lǐng)域包括計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、人工智能等，近年來(lái)主要側(cè)重于深度學(xué)習(xí)理論與泛化、幾何深度學(xué)習(xí)、以及3D AIGC等研究；成果發(fā)表于TPAMI/CVPR/ICML/NeurIPS等頂級(jí)期刊和會(huì)議。擔(dān)任TMLR/TIP等期刊副主編及ICML/ICCV/NeurIPS等會(huì)議領(lǐng)域主席。

幾何感知與智能實(shí)驗(yàn)室（Gorilla Lab）聚焦機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、三維感知等人工智能核心方向，側(cè)重從語(yǔ)義感知和內(nèi)容生成等角度，以學(xué)習(xí)數(shù)據(jù)內(nèi)在的幾何規(guī)律性和外在的幾何表征為核心方法指導(dǎo)，對(duì)圖像、視頻、點(diǎn)云等高維數(shù)據(jù)進(jìn)行智能處理，以推進(jìn)相關(guān)領(lǐng)域發(fā)展和產(chǎn)業(yè)化落地。自成立以來(lái)，實(shí)驗(yàn)室先后獲得來(lái)自國(guó)家自然科學(xué)基金委、廣東省科技廳、華為技術(shù)有限公司等數(shù)千萬(wàn)的經(jīng)費(fèi)支持。

賈奎教授實(shí)驗(yàn)室提供多個(gè)博士后、博士、研究型碩士及研究助理崗位，有興趣從事人工智能、計(jì)算機(jī)視覺(jué)、三維感知與生成研究的同學(xué)，請(qǐng)發(fā)信至 kuijia@gmail.com 。