去年 3 月，OpenAI 領(lǐng)投了一家具身智能公司「1X」。這是一家成立于 2014 年的挪威人形機(jī)器人公司，致力于研發(fā)雙足機(jī)器人 NEO 和商用輪式人形機(jī)器人 EVE。

本月初，1X 正式推出了專為家庭使用而設(shè)計的雙足人形機(jī)器人 NEO Beta，讓人們看到了大模型加持下活靈活現(xiàn)、超擬人機(jī)器人的不斷進(jìn)步。

如今，1X 迎來了自己的世界模型。具體地， 基于視頻生成（Sora）和自動駕駛世界模型（端到端自動駕駛，E2EAD）領(lǐng)域的進(jìn)展，1X 訓(xùn)練出了一個世界模型，作為自家機(jī)器人的虛擬模擬器。

1X 人工智能副總裁 Eric Jang 表示，過去幾個月，1X 一直在開發(fā)通用機(jī)器人的學(xué)習(xí)模擬器，如今終于問世了。

1X 工程師 Daniel Ho 表示這是機(jī)器人世界模型的初步進(jìn)展，模型可以理解接觸到的物理世界并生成高保真視頻，使機(jī)器人可以在自己的神經(jīng)空間中執(zhí)行規(guī)劃、評估和模擬操作。并且，很多生成的視頻片段很難與真實視頻區(qū)分開來。

1X 創(chuàng)始人兼 CEO Bernt Bornich 表示，這是人形機(jī)器人數(shù)據(jù)顯著增強(qiáng)擴(kuò)展定律的首個證據(jù)，「沒有勺子」。

各路網(wǎng)友也對這個機(jī)器人世界模型給予了很高評價。

世界模型加持下的 1X 人形機(jī)器人還讓一些人直呼《西部世界》重現(xiàn)。

從 1X 官方給出的 Demo 可以看到，從相同的起始圖像序列開始，1X 的世界模型可以從不同的機(jī)器人（EVE）動作建議中想象出多種未來。

這個世界模型還能預(yù)測非平凡物體（如剛體）的相互作用、掉落物體的影響、部分可觀測性、可變形物體（窗簾、衣物）和鉸接物體（門、抽屜、窗簾、椅子）。

機(jī)器人的「ChatGPT 時刻」，同樣需要擴(kuò)展定律

世界模型解決了構(gòu)建通用機(jī)器人時一個非常實際、但經(jīng)常被忽視的挑戰(zhàn)，即評估。如果你訓(xùn)練的機(jī)器人可以執(zhí)行 1000 項任務(wù)，與先前模型相比，我們也很難確定新模型用在機(jī)器人上，在這 1000 項任務(wù)上表現(xiàn)優(yōu)越。由于周圍環(huán)境如光照細(xì)微的變化，即使模型權(quán)重相同，機(jī)器人也可能在幾天內(nèi)經(jīng)歷性能的快速下降。

此前 1X 訓(xùn)練了一個模型，在 50 天的時間里，機(jī)器人性能下降了

如果環(huán)境隨著時間的推移不斷變化，那么此前在該環(huán)境中達(dá)到的實驗性能很難復(fù)現(xiàn)，因為舊環(huán)境不存在了。如果你在不斷變化的環(huán)境（如家庭或辦公室）中評估多任務(wù)系統(tǒng)，那么這個問題將會變得更加糟糕。這一狀況使得在現(xiàn)實世界中進(jìn)行機(jī)器人科學(xué)研究變得異常困難。

經(jīng)過深入研究我們不禁會問，當(dāng)數(shù)據(jù)、計算和模型規(guī)模增加時，機(jī)器人的能力將如何擴(kuò)展？在大模型領(lǐng)域，擴(kuò)展定律普遍得到大家的認(rèn)同，如果機(jī)器人技術(shù)要迎來「ChatGPT 時刻」，必須首先建立它的擴(kuò)展定律。

其他評估方法

基于物理的模擬（Bullet、Mujoco、Isaac Sim、Drake）是快速測試機(jī)器人策略的合理方法。這些方法可重置且可重現(xiàn)，這樣一來，研究人員能夠仔細(xì)比較不同控制算法帶來的的差異。

然而，這些模擬器大多是為剛體動力學(xué)設(shè)計的，需要大量手工資產(chǎn)創(chuàng)作。

如何讓機(jī)器人打開咖啡濾紙的紙盒、用刀切水果、擰開冷凍果醬罐或與人類等其他智能體互動還是一個值得思考的問題。眾所周知，家庭環(huán)境中遇到的日常物體或者飼養(yǎng)的寵物很難模擬，因此機(jī)器人使用的模擬環(huán)境往往在視覺上很單調(diào)，缺乏現(xiàn)實世界用例的多樣性。對現(xiàn)實或模擬環(huán)境中有限數(shù)量任務(wù)的小規(guī)模評估無法泛化到對現(xiàn)實世界中的大規(guī)模評估。

世界模型

1X 正在采用一種全新的方法來評估通用機(jī)器人，即直接從原始傳感器數(shù)據(jù)中學(xué)習(xí)模擬器，并使用模擬器來評估新策略。通過直接從真實數(shù)據(jù)中學(xué)習(xí)模擬器，你可以在不手動創(chuàng)建資產(chǎn)的情況下了解真實世界的復(fù)雜性。

在過去的一年里，1X 收集的 1X 旗艦產(chǎn)品 EVE 機(jī)器人的數(shù)據(jù)高達(dá)數(shù)千小時，這些數(shù)據(jù)包括在家中和辦公室中執(zhí)行各種移動操作任務(wù)以及與人互動的任務(wù)。研究人員將這些視頻和動作數(shù)據(jù)結(jié)合起來，訓(xùn)練了一個世界模型，該模型可以根據(jù)觀察和動作預(yù)測未來的視頻。

動作控制

該研究訓(xùn)練的世界模型能夠根據(jù)不同的動作指令產(chǎn)生不同的結(jié)果，下面展示了在四種不同軌跡條件下的世界模型生成的效果，每種軌跡都從相同的初始幀開始。 

左門軌跡

右門軌跡

彈奏空氣吉他

世界模型的主要價值來自于模擬對象交互。在抓取盒子實驗中，研究團(tuán)隊為模型提供相同的初始框架和三組不同的動作來抓取盒子。在每種情況下，所抓取的盒子都會根據(jù)夾具的運(yùn)動而被提升和移動，而其他盒子則保持不受干擾。

即使沒有提供動作，世界模型也會生成看似合理的視頻，例如學(xué)會駕駛時應(yīng)避開人和障礙物：

長視野任務(wù)

模型還可以生成長視野視頻。下面的示例模擬了完整的 T 恤折疊演示。T 恤和可變形物體往往很難在剛體模擬器中實現(xiàn)。

故障

對象連貫性

模型可能無法在交互過程中保持對象的形狀和顏色，有時對象甚至可能會完全消失。此外，當(dāng)對象被遮擋或以不利的角度顯示時，它們的外觀可能會在整個生成過程中變得扭曲。

物理定律

左邊的生成結(jié)果表明模型對物理特性有了新的理解，當(dāng)抓手松開勺子時，勺子掉到桌子上就證明了這一點。然而，在很多情況下，模型生成結(jié)果都未能遵守物理定律，例如右側(cè)的盤子懸浮在空中。

自我認(rèn)知

研究團(tuán)隊讓 EVE 走到鏡子前，以觀察它能否生成與鏡子中動作相一致的行為。

結(jié)果顯示，模型雖然開始自我反思，但沒有出現(xiàn)「自我識別」或「自我理解」的覺醒。

博客地址：https://www.1x.tech/discover/1x-world-model