僅在 7500 條軌跡數(shù)據(jù)上進(jìn)行訓(xùn)練，能夠在 38 個(gè)任務(wù)中展示 12 種多樣的操作技能，不僅限于拾取 / 推動(dòng)，還包括關(guān)節(jié)對(duì)象操縱和物體重新定位，并能將這些技能推廣應(yīng)用于數(shù)百個(gè)不同的未知情境（未知物體、未知任務(wù)，甚至完全未知的廚房環(huán)境），這樣的機(jī)器人夠不夠酷？

幾十年來，創(chuàng)造一個(gè)能夠在不同環(huán)境中操縱任意物體的機(jī)器人一直是一個(gè)遙不可及的目標(biāo)。一部分原因是，缺乏多樣化的機(jī)器人數(shù)據(jù)集，無法訓(xùn)練這樣的智能體，同時(shí)也缺乏能夠生成此類數(shù)據(jù)集的通用智能體。

為了突破這一困境，來自 CMU、Meta AI 的作者歷時(shí)兩年開發(fā)了一個(gè)通用的 RoboAgent。他們將重點(diǎn)放在開發(fā)一種高效的范例上，能夠在實(shí)際數(shù)據(jù)有限的情況下訓(xùn)練一個(gè)能夠獲得多種技能的通用智能體，并將這些技能推廣應(yīng)用于多樣的未知情境。

RoboAgent 由以下模塊化構(gòu)成 ：

• RoboPen - 一個(gè)采用通用硬件構(gòu)建的分布式機(jī)器人基礎(chǔ)設(shè)施，能夠長(zhǎng)期不間斷運(yùn)行；
• RoboHive - 一個(gè)統(tǒng)一的框架，用于在模擬和真實(shí)世界操作中進(jìn)行機(jī)器人學(xué)習(xí)；
• RoboSet - 一個(gè)高質(zhì)量的數(shù)據(jù)集，代表了各種場(chǎng)景中使用日常物品的多種技能；
• MT-ACT - 一種高效的語言條件多任務(wù)離線模仿學(xué)習(xí)框架，通過在現(xiàn)有機(jī)器人經(jīng)驗(yàn)的基礎(chǔ)上創(chuàng)建多樣的語義增強(qiáng)集合，從而擴(kuò)大了離線數(shù)據(jù)集，并采用了一種新穎的策略架構(gòu)和高效的動(dòng)作表示方法，在有限的數(shù)據(jù)預(yù)算下恢復(fù)出性能良好的策略。

RoboSet：多技能、多任務(wù)、多模態(tài)數(shù)據(jù)集

構(gòu)建一個(gè)能夠在許多不同情境下推廣的機(jī)器人智能體，首先需要一個(gè)具有廣泛覆蓋范圍的數(shù)據(jù)集。鑒于擴(kuò)大規(guī)模的努力通常會(huì)有所幫助（例如，RT-1 展示了約 130,000 條機(jī)器人軌跡的結(jié)果），因此需要在數(shù)據(jù)集有限的情況下理解學(xué)習(xí)系統(tǒng)的效率和泛化原則，低數(shù)據(jù)情境往往會(huì)導(dǎo)致過擬合。因此，作者的主要目標(biāo)是開發(fā)一種強(qiáng)大的范例，可以在低數(shù)據(jù)情境下學(xué)習(xí)可推廣的通用策略，同時(shí)避免過擬合問題。

機(jī)器人學(xué)習(xí)中的技能與數(shù)據(jù)全景。

用于訓(xùn)練 RoboAgent 的數(shù)據(jù)集 RoboSet（MT-ACT）僅包括 7,500 條軌跡（比 RT-1 的數(shù)據(jù)少 18 倍）。該數(shù)據(jù)集提前收集并保持凍結(jié)狀態(tài)。該數(shù)據(jù)集由在多個(gè)任務(wù)和場(chǎng)景中使用商品機(jī)器人硬件（Franka-Emika 機(jī)器人配備 Robotiq 夾具）進(jìn)行人類遙操作收集的高質(zhì)量軌跡組成。RoboSet（MT-ACT）在幾個(gè)不同的情境下稀疏地涵蓋了 12 種獨(dú)特技能。數(shù)據(jù)通過將日常廚房活動(dòng)（如泡茶、烘焙）分為不同的子任務(wù)來收集，每個(gè)子任務(wù)代表一個(gè)獨(dú)特的技能。數(shù)據(jù)集包括常見的拾取 - 放置技能，還包括接觸豐富的技能，如擦拭、蓋蓋子，以及涉及關(guān)節(jié)物體的技能。

MT-ACT：多任務(wù)動(dòng)作分塊 Transformer

RoboAgent 基于兩個(gè)關(guān)鍵洞察在低數(shù)據(jù)情境下學(xué)習(xí)通用策略。它利用基礎(chǔ)模型的世界先驗(yàn)知識(shí)以避免模式崩潰，并采用了一種新穎的高效策略表示，能夠攝取高度多模態(tài)的數(shù)據(jù)。

1、語義增強(qiáng)：RoboAgent 通過對(duì) RoboSet（MT-ACT）進(jìn)行語義增強(qiáng)，將來自現(xiàn)有基礎(chǔ)模型的世界先驗(yàn)知識(shí)注入其中。由此產(chǎn)生的數(shù)據(jù)集將機(jī)器人的經(jīng)驗(yàn)與世界先驗(yàn)知識(shí)相結(jié)合，而無需額外的人力 / 機(jī)器人成本。使用 SAM 對(duì)目標(biāo)物體進(jìn)行分割，并在形狀、顏色、紋理變化方面對(duì)其進(jìn)行語義增強(qiáng)。

2、高效策略表示：由此產(chǎn)生的數(shù)據(jù)集是嚴(yán)重多模態(tài)的，包含豐富多樣的技能、任務(wù)和情景。將動(dòng)作分塊方法適應(yīng)于多任務(wù)設(shè)置，開發(fā)了 MT-ACT 一種新穎的高效策略表示，能夠在低數(shù)據(jù)量情境中攝取高度多模態(tài)的數(shù)據(jù)集，同時(shí)避免過擬合問題。

實(shí)驗(yàn)結(jié)果

RoboAgent 比現(xiàn)有方法更具樣本效率

下圖比較了作者提出的 MT-ACT 策略表示與幾種模仿學(xué)習(xí)架構(gòu)。作者僅使用了包括物體姿態(tài)變化和部分光照變化的環(huán)境變化。與之前的研究相似，作者將此歸于 L1 泛化。從 RoboAgent 的結(jié)果，可以清楚地看到，使用動(dòng)作分塊來建模子軌跡明顯優(yōu)于所有基準(zhǔn)方法，從而更證明了作者提出的策略表示在樣本效率學(xué)習(xí)方面的有效性。

RoboAgent 在多個(gè)泛化層面上表現(xiàn)出色

上圖展示了作者在不同泛化層次上測(cè)試方法的結(jié)果。并且可視化了泛化級(jí)別，L1 表示物體姿態(tài)變化，L2 表示多樣的桌面背景和干擾因素，L3 表示新穎的技能 - 物體組合。接下來，作者展示了每種方法在這些泛化層次上的表現(xiàn)。在嚴(yán)格的評(píng)估研究中，MT-ACT 比其他方法中表現(xiàn)顯著優(yōu)異，特別是在更困難的泛化層次（L3）上。

RoboAgent 具有高度的可擴(kuò)展性

作者評(píng)估了在不斷增加的語義增強(qiáng)級(jí)別下 RoboAgent 的表現(xiàn)。并且在一個(gè)活動(dòng)（5 項(xiàng)技能）上進(jìn)行了評(píng)估。下圖顯示，隨著數(shù)據(jù)的增加（即每幀更多的增強(qiáng)），在所有泛化級(jí)別上性能顯著提升。重要的是，對(duì)于更難的任務(wù)（L3 泛化）來說，性能提升要大得多。

RoboAgent 能夠在多樣的活動(dòng)中展示其技能