NVIDIA本周在德國慕尼黑舉行的年度機器人學(xué)習(xí)大會上推出了這些新工具，大會重點關(guān)注了機器人技術(shù)和機器學(xué)習(xí)的交叉領(lǐng)域。

NVIDIA宣布推出新的機器人AI學(xué)習(xí)和模擬工具

其中，包括現(xiàn)已上市的機器人學(xué)習(xí)框架NVIDIA Isaac Lab；6個用于Project GR00T的新人形機器人學(xué)習(xí)工作流程，以支持AI機器人大腦開發(fā)；以及用于視頻處理的新開發(fā)人員工具。

觀察和理解世界對于機器人技術(shù)發(fā)展至關(guān)重要。這就必須要分解來自攝像頭的視頻，以便AI模型可以處理這些視頻。NVIDIA宣布Cosmos開源標(biāo)記器現(xiàn)在已經(jīng)全面上市，為開發(fā)者提供了高質(zhì)量的標(biāo)記功能，具有極高的壓縮率，運行速度比當(dāng)前的標(biāo)記器快12倍，與NeMo Curator相結(jié)合可以優(yōu)化和理解輸入內(nèi)容。

這也使開發(fā)者能夠構(gòu)建更好的“世界模型”（即世界的AI表示），可以預(yù)測機器人執(zhí)行動作時物體和環(huán)境將如何響應(yīng)。

例如，當(dāng)機器人夾持器靠近香蕉時會發(fā)生什么？成熟的香蕉很軟，因此機器人夾持器不能快速或用力靠近，否則會破碎、變形并造成混亂。一張紙呢？必須以不同的方式抓取紙。不管是哪一種情況，都涉及視頻數(shù)據(jù)的高質(zhì)量編碼和解碼。

人形機器人初創(chuàng)公司1X Technologies的AI副總裁Eric Jang解釋說，Cosmos標(biāo)記器幫助他的公司實現(xiàn)了高數(shù)據(jù)壓縮，同時仍保持極高的視覺質(zhì)量。他說：“這使我們能夠以更高效的方式訓(xùn)練具有長視界視頻生成的世界模型。”

并非所有機器人AI大腦都可以在現(xiàn)實世界中訓(xùn)練，因此NVIDIA發(fā)布了Isaac Lab，這是一個基于Omniverse數(shù)字孿生模擬平臺的開源機器人學(xué)習(xí)框架。

Omniverse是一個實時3D圖形協(xié)作和模擬平臺，讓藝術(shù)家、開發(fā)者和企業(yè)使用完全實現(xiàn)的物理學(xué)構(gòu)建工廠、城市和其他空間的逼真的3D模型和場景，這使其成為模擬虛擬環(huán)境以訓(xùn)練機器人的一款強大工具。

開發(fā)者可以使用Isaac Lab訓(xùn)練機器人并大規(guī)模調(diào)整策略，以了解性能和安全性。這個框架適用于任何框架和機器人化身，包括手臂、人形機器人、四足動物和群體。

NVIDIA表示，全球有很多商用機器人制造商和研究團(tuán)體已經(jīng)把Isaac Lab納入他們的工作流程中，包括Agility Robots、Boston Dynamics、1X、Galbot、Fourier、Mentee Robotics和Berkeley Humanoid。

Project GR00T和更多人形機器人工作流程

構(gòu)建和開發(fā)先進(jìn)的人形機器人是一項艱巨的挑戰(zhàn)，因為人類可以輕松完成的行走、感知和采取行動需要大量的硬件工程、AI訓(xùn)練和AI計算，才能讓機器人完成看似簡單的任務(wù)。

Project GR00T是NVIDIA的一項計劃，為開發(fā)者提供通用人形機器人的AI基礎(chǔ)模型、軟件庫和數(shù)據(jù)管道，幫助開發(fā)者快速制作原型并更快展開構(gòu)建。

為了幫助開發(fā)者構(gòu)建先進(jìn)的人形機器人，NVIDIA宣布推出了6個新的Project GR00T工作流程藍(lán)圖，幫助他們在機器人中開發(fā)新的功能。

GR00T-Gen讓開發(fā)者可以打造逼真的模擬環(huán)境，以訓(xùn)練機器人在其中移動、操縱物體和執(zhí)行其他任務(wù)。它使用大型語言模型和3D生成式AI模型來創(chuàng)建視覺多樣化的場景和隨機場景，幫助創(chuàng)建強大的訓(xùn)練環(huán)境。

GR00T-Mimic讓機器人可以向人類老師學(xué)習(xí)。使用這種工作流程，人類演示者可以遠(yuǎn)程操作機器人并以與人類相同的方式執(zhí)行操作，例如在倉庫中走動、從貨架上拉出箱子并將箱子放在推車上，讓機器人在相同的環(huán)境中也可以模仿相同的動作。NVIDIA表示，這個方法使用物理世界中有限數(shù)量的人類演示，使用擴展現(xiàn)實例如Apple Vision Pro，然后縮放運動數(shù)據(jù)以幫助機器人自己產(chǎn)生更有機的運動。

GR00T-Dexterity和GR00T-Control為人形機器人提供了一套精細(xì)的靈巧操作和廣泛的身體控制模型和策略。Dexterity將幫助開發(fā)者使用具有執(zhí)行器和指關(guān)節(jié)高度靈巧的手的機器人，并處理未抓握、抓握力和其他抓握動作。GR00T-Control將有助于為整個身體進(jìn)行運動規(guī)劃，以便行走、移動四肢或執(zhí)行任務(wù)。

GR00T-Mobility為開發(fā)者提供了一套模型，幫助人形機器人行走和繞過障礙物，旨在實現(xiàn)基于學(xué)習(xí)的方法，快速推廣到新環(huán)境中。

最后，GR00T-Perception增加了高級軟件庫和人機交互基礎(chǔ)模型，幫助機器人“記住”事件的長期歷史。為此，NVIDIA為Perception添加了恰如其名的ReMEmbR，為機器人提供個性化人類互動的記憶，并提供背景和空間意識，以提供更好的感知、認(rèn)知和適應(yīng)能力。