本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

渲染一個精細(xì)到頭發(fā)和皮膚褶皺的龍珠3D手辦，有多復(fù)雜？

對于經(jīng)典模型NeRF來說，至少需要同一個相機(jī)從特定距離拍攝的100張手辦照片。

但現(xiàn)在，一個新AI模型只需要40張來源不限的網(wǎng)絡(luò)圖片，就能把整個手辦渲染出來！

這些照片的拍攝角度、遠(yuǎn)近和亮暗都沒有要求，還原出來的圖片卻能做到清晰無偽影：

甚至還能預(yù)估材質(zhì)，并從任意角度重新打光：

這個AI模型名叫NeROIC，是南加州大學(xué)和Snap團(tuán)隊玩出來的新花樣。

有網(wǎng)友見狀狂喜：

不同角度的照片就能渲染3D模型，快進(jìn)到只用照片來拍電影……

還有網(wǎng)友借機(jī)炒了波NFT（手動狗頭）

所以，NeROIC究竟是如何僅憑任意2D輸入，就獲取到物體的3D形狀和性質(zhì)的呢？

基于NeRF改進(jìn)，可預(yù)測材料光照

介紹這個模型之前，需要先簡單回顧一下NeRF。

NeRF提出了一種名叫神經(jīng)輻射場（neural radiance field）的方法，利用5D向量函數(shù)來表示連續(xù)場景，其中5個參數(shù)分別用來表示空間點的坐標(biāo)位置（x,y,z）和視角方向（θ,φ）。

然而，NeRF卻存在一些問題：

• 對輸入圖片的要求較高，必須是同一場景下拍攝的物體照片；
• 無法預(yù)測物體的材料屬性，因此無法改變渲染的光照條件。

這次的NeROIC，就針對這兩方面進(jìn)行了優(yōu)化：

• 輸入圖片的場景不限，可以是物體的任意背景照片，甚至是網(wǎng)絡(luò)圖片；
• 可以預(yù)測材料屬性，在渲染時可以改變物體表面光照效果（可以打光）。

它主要由2個網(wǎng)絡(luò)構(gòu)成，包括深度提取網(wǎng)絡(luò)（a）和渲染網(wǎng)絡(luò)（c）。

首先是深度提取網(wǎng)絡(luò)，用于提取物體的各種參數(shù)。

為了做到輸入場景不限，需要先讓AI學(xué)會從不同背景中摳圖，但由于AI對相機(jī)的位置估計得不準(zhǔn)確，摳出來的圖片總是存在下面這樣的偽影（圖左）：

因此，深度提取網(wǎng)絡(luò)引入了相機(jī)參數(shù)，讓AI學(xué)習(xí)如何估計相機(jī)的位置，也就是估算圖片中的網(wǎng)友是從哪個角度拍攝、距離有多遠(yuǎn)，摳出來的圖片接近真實效果（GT）：

同時，設(shè)計了一種估計物體表面法線的新算法，在保留關(guān)鍵細(xì)節(jié)的同時，也消除了幾何噪聲的影響（法線即模型表面的紋路，隨光線條件變化發(fā)生變化，從而影響光照渲染效果）：

最后是渲染網(wǎng)絡(luò)，用提取的參數(shù)來渲染出3D物體的效果。

具體來說，論文提出了一種將顏色預(yù)測、神經(jīng)網(wǎng)絡(luò)與參數(shù)模型結(jié)合的方法，用于計算顏色、預(yù)測最終法線等。

其中，NeROIC的實現(xiàn)框架用PyTorch搭建，訓(xùn)練時用了4張英偉達(dá)的Tesla V100顯卡。

訓(xùn)練時，深度提取網(wǎng)絡(luò)需要跑6~13小時，渲染網(wǎng)絡(luò)則跑2~4小時。

用網(wǎng)絡(luò)圖片就能渲染3D模型

至于訓(xùn)練NeROIC采用的數(shù)據(jù)集，則主要有三部分：

來源于互聯(lián)網(wǎng)（部分商品來源于網(wǎng)購平臺，即亞馬遜和淘寶）、NeRD、以及作者自己拍攝的（牛奶、電視、模型）圖像，平均每個物體收集40張照片。

那么，這樣的模型效果究竟如何呢？

論文先是將NeROIC與NeRF進(jìn)行了對比。

從直觀效果來看，無論是物體渲染細(xì)節(jié)還是清晰度，NeROIC都要比NeRF更好。

具體到峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）來看，深度提取網(wǎng)絡(luò)的“摳圖”技術(shù)都挺不錯，相較NeRF做得更好：

同時，論文也在更多場景中測試了渲染模型的效果，事實證明不會出現(xiàn)偽影等情況：

還能產(chǎn)生新角度，而且重新打光的效果也不錯，例如這是在室外場景：

室內(nèi)場景的打光又是另一種效果：

作者們還嘗試將照片數(shù)量減少到20張甚至10張，對NeRF和NeROIC進(jìn)行訓(xùn)練。

結(jié)果顯示，即使是數(shù)據(jù)集不足的情況下，NeROIC的效果依舊比NeRF更好。

不過也有網(wǎng)友表示，作者沒給出玻璃或是半透明材質(zhì)的渲染效果：

對AI來說，重建透明或半透明物體確實也確實是比較復(fù)雜的任務(wù)，可以等代碼出來后嘗試一下效果。

據(jù)作者表示，代碼目前還在準(zhǔn)備中。網(wǎng)友調(diào)侃：“可能中頂會、或者在演講之后就會放出”。

一作清華校友

論文一作匡正非，目前在南加州大學(xué)（University of Southern California）讀博，導(dǎo)師是計算機(jī)圖形學(xué)領(lǐng)域知名華人教授黎顥。

他本科畢業(yè)于清華計算機(jī)系，曾經(jīng)在胡事民教授的計圖團(tuán)隊中擔(dān)任助理研究員。

這篇文章是他在Snap公司實習(xí)期間做出來的，其余作者全部來自Snap團(tuán)隊。

以后或許只需要幾張網(wǎng)友“賣家秀”，就真能在家搞VR云試用了。

論文地址：

https://arxiv.org/abs/2201.02533

項目地址：

https://formyfamily.github.io/NeROIC/