雷鋒網注：上圖為微軟模型生成的 3D 沙發，椅子和浴缸圖像

本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。

已經有不少機構在將 2D 圖像轉換為 3D 形式的方面進行了嘗試，包括 Facebook、Nvidia 等公司的 AI 研究實驗室，或是類似 Threedy.AI 這樣的初創公司。近日，來自微軟的研究團隊也發表了一篇預印論文，展示了其在非結構化 2D 圖像的基礎上生成 3D 形狀圖像的能力。

通常來說，訓練這樣的框架需要通過柵格化處理來進行微分步驟渲染，因此，過去研究人員在該領域的努力都專注于開發定制渲染模型。然而，通過此類模型處理的圖像會顯得不夠真實自然，也不適合用于生成游戲以及圖形產業的工業效果圖。 

微軟的研究人員這一次做了新的突破——他們在論文中詳細介紹了一個框架，該框架采用的“可縮放”訓練技術是第一次被用于這一領域。研究人員提到，在使用 2D 圖像進行訓練時，該框架始終可以比現有的模型生成效果更好的 3D 形狀，這對于視頻游戲開發人員、電子商務公司，以及缺乏創建 3D 模型經驗的動畫公司來說，稱得上是“福音”。       

具體來說，研究人員試圖利用功能齊全的工業渲染器，該渲染器可以根據顯示數據來生成圖像。為此，研究人員訓練了 3D 形狀的生成模型，以便渲染形狀并生成與 2D 數據集分布相匹配的圖像。生成器模型采用隨機輸入向量（代表數據集特征的值）并生成 3D 對象的連續體素表示（3D 空間中網格上的值），然后將體素輸入到不可微分的渲染過程中，并在使用現有渲染器進行渲染之前將其閾值降低為離散值。

也就是說，這是一種新穎的代理神經渲染器直接渲染由 3D 形狀生成模型生成的連續體素網格的方式。正如研究人員所解釋的那樣，在給定 3D 網格輸入的情況下，需要對其進行訓練以匹配現成渲染器的渲染輸出。         

生成式對抗網絡（GANS）在產生 2D 圖像數據方面的成果令人印象深刻，許多視覺應用，比如游戲，都需要 3D 模型作為輸入，而不僅僅是圖像。但是，直接將現有的 GAN 模型擴展到 3D，需要獲取 3D 訓練數據。         

雷鋒網注：上圖為微軟模型生成的 3D 蘑菇圖像

在實驗過程中，研究團隊為上述生成器采用了 3D 卷積 GAN 架構（GAN 是一個由兩部分組成的 AI 模型，其中包括生成器，這些生成器使用分布式采樣從隨機噪聲中生成合成示例，并將這些示例與訓練數據集中的真實示例一起饋入鑒別器中，以嘗試區分兩者）。基于 3D 模型生成的數據集和真實的數據集可以合成來自不同對象類別的圖像，并在整個訓練過程中從不同角度進行渲染。

研究人員還表示，他們的框架還會從圖像中提取照明和陰影信息，使其能夠從每個訓練樣本中提取更多有意義的數據，并在此基礎上產生更好的結果。在對自然圖像的數據集進行訓練之后，該框架可以生成逼真的樣本。此外，該框架還可以利用表面之間的曝光差異來成功檢測出凹形物體的內部結構，從而使準確地捕獲凹形程度和中空空間。        

將顏色，材料和照明等信息合并到系統中，未來，這些信息就可以與更多“常規”實際數據集一起使用。