昨日，英偉達創(chuàng)始人黃仁勛在 SIGGRAPH 2024 Keynote 演講中講到了其人形機器人通用基礎(chǔ)模型「Project GR00T」。該模型在功能上迎來了一系列更新。

德克薩斯大學奧斯汀分校助理教授、英偉達高級研究科學家朱玉可發(fā)推，在視頻中演示了英偉達如何將通用家務(wù)機器人大規(guī)模仿真訓練框架 RoboCasa 和 MimicGen 系統(tǒng)整合到英偉達 Omniverse 平臺和 Isaac 機器人開發(fā)平臺。

圖源：https://x.com/yukez/status/1818092679936299373

視頻中涵蓋了英偉達自己的三個計算平臺，包括 AI、Omniverse 和 Jetson Thor，利用它們簡化和加速開發(fā)者工作流程。通過這些計算平臺的共同賦能，我們有望進入由物理 AI 驅(qū)動的人形機器人時代。

其中最大的亮點，開發(fā)人員能夠使用蘋果 Vision Pro 來遠程操控人形機器人來執(zhí)行任務(wù)。

與此同時，另一位英偉達高級研究科學家 Jim Fan 表示，Project GR00T 的更新令人振奮。英偉達利用系統(tǒng)化的方法來擴展機器人數(shù)據(jù)，解決了機器人領(lǐng)域最棘手的難題。

思路也很簡單：人類在真實機器人身上收集演示數(shù)據(jù)，而英偉達在仿真中將這些數(shù)據(jù)擴展千倍及以上。通過 GPU 加速仿真，人們現(xiàn)在可以用算力來換取耗時耗力耗資金的人類收集數(shù)據(jù)了。

他談到自己不久前還認為遠程操控在根本上不可擴展，這是因為在原子世界中，我們總是受到 24 小時 / 機器人 / 天數(shù)的限制。英偉達在 GR00T 上采用的新的合成數(shù)據(jù) pipeline 在比特世界打破了這一局限。

圖源：https://x.com/DrJimFan/status/1818302152982343983

對于英偉達在人形機器人領(lǐng)域的最新進展，有網(wǎng)友表示，蘋果 Vision Pro 找到了最酷的用例。

英偉達開始引領(lǐng)下一波浪潮：物理 AI

英偉達也在一篇博客中詳述了加速人形機器人的技術(shù)流程，完整內(nèi)容如下：

為了加速全球范圍內(nèi)人形機器人的發(fā)展，英偉達宣布為全球領(lǐng)先的機器人制造商、AI 模型開發(fā)商和軟件制造商提供一套服務(wù)、模型和計算平臺，以開發(fā)、訓練和構(gòu)建下一代人形機器人。

這套產(chǎn)品包括用于機器人仿真和學習的全新 NVIDIA NIM 微服務(wù)和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務(wù)，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓練機器人。

黃仁勛表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發(fā)展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發(fā)展，面向全球人形機器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型?！?/span>

借助 NVIDIA NIM 和 OSMO 加速開發(fā)

NIM 微服務(wù)提供了由英偉達推理軟件提供支持的預構(gòu)建容器，使開發(fā)人員能夠?qū)⒉渴饡r間從幾周縮短到幾分鐘。

兩個新的 AI 微服務(wù)將允許機器人專家在 NVIDIA Isaac Sim 中增強生成物理人工智能仿真工作流程。

MimicGen NIM 微服務(wù)根據(jù)來自空間計算設(shè)備（如 Apple Vision Pro）記錄的遠程數(shù)據(jù)生成合成運動數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD 中生成機器人任務(wù)和仿真環(huán)境。

云原生托管服務(wù) NVIDIA OSMO 現(xiàn)已推出，允許用戶在分布式計算資源（無論是在本地還是在云中）中協(xié)調(diào)和擴展復雜的機器人開發(fā)工作流程。OSMO 的出現(xiàn)大大簡化了機器人訓練和仿真工作流程，將部署和開發(fā)周期從數(shù)月縮短至不到一周。

為人形機器人開發(fā)者提供先進的數(shù)據(jù)捕獲工作流

訓練人形機器人背后的基礎(chǔ)模型需要大量的數(shù)據(jù)。獲取人類演示數(shù)據(jù)的一種方法是使用遠程操作，但這種方式正變得越來越昂貴和漫長。

通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數(shù)據(jù)。

首先，開發(fā)人員使用 Apple Vision Pro 捕捉少量遠程演示。然后，他們在 NVIDIA Isaac Sim 中仿真錄音，并使用 MimicGen NIM 微服務(wù)從錄音中生成合成數(shù)據(jù)集。

開發(fā)人員使用真實數(shù)據(jù)和合成數(shù)據(jù)來訓練 Project GR00T 人形機器人基礎(chǔ)模型，從而節(jié)省了大量的時間并降低了成本。然后，他們使用 Isaac Lab 中的 Robocasa NIM 微服務(wù)（一種機器人學習框架）來生成經(jīng)驗以重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務(wù)無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。

擴大對 NVIDIA 人形機器人開發(fā)者技術(shù)的訪問權(quán)限

NVIDIA 提供了三個計算平臺來簡化人形機器人的開發(fā)：用于訓練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，機器人可以在仿真世界中學習和完善技能；以及用于運行模型的 NVIDIA Jetson Thor 人形機器人計算機。開發(fā)人員可以根據(jù)自己的特定需求訪問和使用全部或部分平臺。

通過新的 NVIDIA 人形機器人開發(fā)者計劃，開發(fā)者可以提前使用新產(chǎn)品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎(chǔ)模型的最新版本。

1x、波士頓動力、字節(jié)跳動、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計劃的公司。

開發(fā)人員現(xiàn)在可以加入 NVIDIA 人形機器人開發(fā)人員計劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并且很快將獲得 NVIDIA NIM 微服務(wù)的訪問權(quán)限。