兩句話，讓AI生成VR場(chǎng)景！還是3D、HDR全景圖的那種

作者：文摘菌 2022-12-15 21:59:56

人工智能

高質(zhì)量的HDRI（高動(dòng)態(tài)范圍圖像），也就是HDR全景圖，是目前創(chuàng)建逼真的360度3D場(chǎng)景的熱門方法。

?大數(shù)據(jù)文摘出品

作者：Caleb

最近，ChatGPT可以說(shuō)是火得不要不要的。

11月30日，OpenAI發(fā)布聊天機(jī)器人ChatGPT，并免費(fèi)向公眾開放進(jìn)行測(cè)試以來(lái)，在國(guó)內(nèi)已經(jīng)被玩出了花。

和機(jī)器人對(duì)話，就是讓機(jī)器人去執(zhí)行某個(gè)指令，比如說(shuō)輸入關(guān)鍵字讓AI生成相應(yīng)的畫面。

這好像也不是什么稀奇的事了，OpenAI在4月不是還更新了DALL-E的新版本嗎？

OpenAI，how old are you？（怎么老是你？）

要是文摘菌說(shuō)生成的是3D畫面，還是HDR全景圖那種，或者是基于VR的圖像內(nèi)容呢？

最近，新加坡南洋理工大學(xué)的研究團(tuán)隊(duì)就提出了這么一個(gè)AI，只要用戶用文字輸入一個(gè)描述得很清晰的場(chǎng)景，系統(tǒng)就能生成逼真的3D場(chǎng)景。

先來(lái)看看效果如何，比如輸入“白天湖上的棕色木碼頭被綠樹環(huán)繞”時(shí)，系統(tǒng)就給出了這樣的答案，這光線和細(xì)節(jié)效果直接拉滿。

該研究已經(jīng)以Text2Light: Zero-Shot Text-Driven HDR Panorama Generation為題進(jìn)行了發(fā)表。

論文鏈接：https://arxiv.org/abs/2209.09898

無(wú)需訓(xùn)練，即可生成3D的HDRIs

高質(zhì)量的HDRI（高動(dòng)態(tài)范圍圖像），也就是HDR全景圖，是目前創(chuàng)建逼真的360度3D場(chǎng)景的熱門方法。

考慮到捕捉HDRIs的難度，雖然現(xiàn)在有不少可利用AI生成3D場(chǎng)景的技術(shù)，但基本都需要進(jìn)行一連串的參數(shù)設(shè)定，或是通過(guò)大量數(shù)據(jù)進(jìn)行深度學(xué)習(xí)。

于是，研究人員提出了一個(gè)零拍攝文本驅(qū)動(dòng)框架，即Text2Light，以生成4K+分辨率的HDRIs，并且整個(gè)過(guò)程不需要相應(yīng)的訓(xùn)練數(shù)據(jù)。

生成HDRIs的過(guò)程可以分為兩步。

第一步，基于雙代碼本的離散表示法將輸入文本翻譯成LDR全景圖。輸入文本首先被預(yù)訓(xùn)練的CLIP模型映射到文本嵌入；其次，一個(gè)文本條件的全局采樣器學(xué)習(xí)根據(jù)輸入文本從全局編碼簿中采樣整體語(yǔ)義；然后，一個(gè)結(jié)構(gòu)感知的局部采樣器合成局部補(bǔ)丁，并進(jìn)行合成。

第二步，根據(jù)結(jié)構(gòu)化的潛伏編碼作為連續(xù)表示，對(duì)第一階段的LDR結(jié)果進(jìn)行升級(jí)。研究人員提出的超級(jí)分辨率反色調(diào)映射運(yùn)算器（SR-iTMO）能夠同時(shí)提高全景圖的空間分辨率和動(dòng)態(tài)范圍。

如此一來(lái)，在無(wú)需進(jìn)行訓(xùn)練之下就能生成具有4K分辨率的HDRIs，這也是迄今為止最先進(jìn)的圖像生成模型，清除了從LDR到HDR轉(zhuǎn)換的不穩(wěn)定性，并創(chuàng)建了一對(duì)全景圖和文本供學(xué)習(xí)。

不過(guò)，目前此項(xiàng)技術(shù)仍處于早期研究階段，僅能產(chǎn)生低解析度的360度環(huán)景圖像內(nèi)容，但研究團(tuán)隊(duì)計(jì)劃在未來(lái)，對(duì)現(xiàn)階段技術(shù)所產(chǎn)生環(huán)景圖像進(jìn)行升級(jí)，同時(shí)加入HDR影像強(qiáng)化效果，讓生成的3D圖像或VR場(chǎng)景的觀看度更加流暢和有吸引力。

用文本驅(qū)動(dòng)生成HDRI

接下來(lái)，我們就來(lái)看看一些操作過(guò)程。

先下載好checkpoints，注意團(tuán)隊(duì)分別發(fā)布了室外（local sampler outdoor）和室內(nèi)（local sampler indoor）場(chǎng)景的模型。

從一個(gè)句子生成HDR全景圖：

python text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text "YOUR SCENE DESCRIPTION" --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

從系列文本描述中生成HDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy --sritmo ./logs/sritmo.pth --sr_factor 4

生成低分辨率（512x1024）LDR全景圖：

# assume your texts is stored in alt.txtpython text2light.py -rg logs/global_sampler_clip -rl logs/local_sampler_outdoor --outdir ./generated_panorama --text ./alt.txt --clip clip_emb.npy

以此生成的HDR全景圖可以直接在任何現(xiàn)代圖形使用。以在三維計(jì)算機(jī)圖形軟件Blender進(jìn)行對(duì)舊金山景觀進(jìn)行渲染為例，當(dāng)輸入landscape photography of mountain ranges under purple and pink skies后，我們會(huì)得到這樣的圖像：

為了便于批處理，例如使用多個(gè)hdri進(jìn)行渲染，在命令行中也可以提供渲染3D的腳本。

解包，檢查檢查Blender的使用情況：

# assume your downloaded version is 3.1.2tar -xzvf blender-3.1.2-linux-x64.tar.xzcd blender-3.1.2-linux-x64./blender --help

添加別名：

# PATH_TO_DOWNLOADED_BLENDER indicates the parent directory where you save the downloaded blenderalias blender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"

然后回到Text2Light代碼庫(kù)，為不同的呈現(xiàn)設(shè)置運(yùn)行以下命令：

blender --background --python rendering_shader_ball.py -- ./rendered_balls 100 1000 PATH_TO_HDRI

就能得到這樣的結(jié)果：

該項(xiàng)目也在GitHub上開源了：

GitHub鏈接：https://github.com/FrozenBurning/Text2Light

這個(gè)項(xiàng)目也得到了不少網(wǎng)友的好評(píng)。有網(wǎng)友就感嘆到，“人類的想象力是沒(méi)有邊界的”，照這個(gè)趨勢(shì)來(lái)看我們距離“輸入文字就能3D打印出一個(gè)真實(shí)物體”的時(shí)代也不遠(yuǎn)了。

也有網(wǎng)友表示，當(dāng)試圖輸入“一個(gè)四層半的榻榻米房間，房間內(nèi)有推拉門、拉門、餐桌、14寸黑白電視、黑色電話機(jī)”，仍然會(huì)擔(dān)心AI能否比較準(zhǔn)確地再現(xiàn)這種場(chǎng)景。畢竟在想象中，“這應(yīng)該是一個(gè)有異國(guó)情調(diào)的房間”。