DeepMind 今天發(fā)布了 Genie 2，一個超強的基礎(chǔ)世界模型，可以生成各種 3D 環(huán)境，用來訓(xùn)練和評估具身AI 智能體。Genie 2 是 DeepMind 之前推出的 2D 世界生成模型 Genie 1 的升級版，在 3D 世界生成方面取得了顯著的進步。 只需一張?zhí)崾緢D片，就能生成一個可互動的 3D 世界，不管是人還是 AI，都能用鍵盤鼠標在里面玩耍！像是一個無限可能的“終極沙盒”！

相比李飛飛世界實驗室發(fā)布的圖片生成3D可交互的物理世界的世界模型，個人感覺谷歌的Genie 2要強很多，李飛飛世界模型文章李飛飛「世界實驗室」重磅推出 AI“造物主”：一張圖片生成 3D 世界“任意門”

DeepMind 認為 Genie 2 是解決 Embodied 智能體(具身智能體)訓(xùn)練難題的關(guān)鍵，它提供了一個安全且無限豐富的訓(xùn)練環(huán)境，有助于推動 Embodied AI 和 AGI 的發(fā)展

游戲，AI 進步的“催化劑”：

DeepMind 從創(chuàng)立之初就非常重視游戲在 AI 研究中的作用，從早期的 Atari 游戲到 AlphaGo、AlphaStar，再到現(xiàn)在的通用智能體，游戲一直是 DeepMind 研究的核心。但是，訓(xùn)練更通用的 Embodied 智能體，一直受限于訓(xùn)練環(huán)境的豐富性和多樣性。現(xiàn)在，Genie 2 的出現(xiàn)，就是要解決這個問題！

Genie 2 有哪些神奇之處？

Genie 2 是一個世界模型，可以模擬虛擬世界，包括各種動作（例如跳躍、游泳等）的后果。它基于大規(guī)模視頻數(shù)據(jù)集訓(xùn)練，并展現(xiàn)出各種涌現(xiàn)能力，例如物體交互、復(fù)雜角色動畫、物理效果等。這些能力并非通過顯式編程實現(xiàn)，而是在大規(guī)模訓(xùn)練中自發(fā)涌現(xiàn)的。 Genie 2 還擁有其他“超能力”：

1.物體的承受能力和相互作用： Genie 2可以 模擬各種對象交互，例如氣球爆裂、門打開和發(fā)射炸藥桶

2.NPCs NPC： Genie 2 對其他智能體甚至與它們的復(fù)雜交互進行建模

3.智能響應(yīng)玩家操作： 它能識別角色并正確移動，還能根據(jù)玩家采取的不同動作，生成不同的“反事實體驗”，這意味著可以從同一初始幀生成不同的軌跡，這對于訓(xùn)練智能體非常有價值

4.超強記憶力： 即使場景不在視野中，它也能記住，并在再次出現(xiàn)時準確渲染

5.持續(xù)生成新內(nèi)容： 它可以不斷生成新的內(nèi)容，并保持世界的一致性，最長可達一分鐘

6.多樣化的環(huán)境： 第一人稱視角、等距視角、第三人稱駕駛視角，想怎么玩就怎么玩

7.各種物理效果： 水、煙、重力、光照、反射，應(yīng)有盡有

8.真實世界圖像作為提示： Genie 2 的生成能力不僅僅局限于文字描述（text prompts），還可以通過輸入真實的圖片作為“提示”來生成對應(yīng)的虛擬環(huán)境。這種功能擴展了模型的適配能力，讓它可以直接從現(xiàn)實世界的圖像中獲取靈感，創(chuàng)造出動態(tài)、逼真的虛擬世界，例如模擬風中吹動的草或河流中流動的水

快速原型設(shè)計利器

Genie 2 還能快速創(chuàng)建各種交互式體驗原型，方便研究人員快速實驗新的環(huán)境，訓(xùn)練和測試 embodied AI 智能體。藝術(shù)家和設(shè)計師也可以用它快速創(chuàng)建原型，加速環(huán)境設(shè)計過程

AI 智能體在 Genie 2 中盡情玩耍

研究人員可以用 Genie 2 創(chuàng)建各種環(huán)境，讓 AI 智能體在其中執(zhí)行任務(wù)，評估它們的學(xué)習能力。DeepMind 展示了一個名為 SIMA 的智能體，它是 DeepMind 與游戲開發(fā)者合作開發(fā)的， 它可以在 Genie 2 生成的陌生環(huán)境中聽從指令完成任務(wù)，這也有助于評估 Genie 2 生成環(huán)境的一致性

SIMA 代理旨在通過遵循自然語言指令來完成一系列 3D 游戲世界中的任務(wù)。在這里，我們使用 Genie 2 生成一個有兩扇門（一扇藍色門和一扇紅色門）的 3D 環(huán)境，并向 SIMA 代理提供打開每扇門的指令。在此示例中，SIMA 通過鍵盤和鼠標輸入控制虛擬人物，而 Genie 2 生成游戲幀

技術(shù)

Genie 2 是一個自回歸的潛在擴散模型，基于大規(guī)模視頻數(shù)據(jù)集訓(xùn)練。它采用類似大型語言模型的因果掩碼，可以逐幀地自回歸采樣。 DeepMind 還開發(fā)了一個蒸餾版本的 Genie 2，可以在實時運行，但輸出質(zhì)量會有所降低