、

文章鏈接：https://arxiv.org/pdf/2503.10743

亮點(diǎn)直擊

• 與現(xiàn)有方法僅在笛卡爾空間中優(yōu)化末端執(zhí)行器姿態(tài)不同，提出了一種新穎的時(shí)空機(jī)器人圖，顯式地建模機(jī)器人物理配置，以指導(dǎo)生成動(dòng)作的去噪過程。
• 引入了一種運(yùn)動(dòng)學(xué)正則化器，通過引入關(guān)節(jié)空間監(jiān)督來增強(qiáng)NBP（Next-Best Pose）學(xué)習(xí)目標(biāo)。該正則化器利用前向運(yùn)動(dòng)學(xué)提供符合運(yùn)動(dòng)學(xué)約束的參考姿態(tài)，有效引導(dǎo)擴(kuò)散過程以符合運(yùn)動(dòng)學(xué)約束。
• 大量實(shí)驗(yàn)表明，本文提出的KStar Diffuser在仿真和實(shí)際場(chǎng)景中均表現(xiàn)優(yōu)異，成功率超過基線方法10%以上。

總結(jié)速覽

解決的問題

• 物理結(jié)構(gòu)約束：現(xiàn)有方法在預(yù)測(cè)末端執(zhí)行器姿態(tài)時(shí)，往往忽略了機(jī)器人的物理結(jié)構(gòu)，導(dǎo)致自碰撞或干涉。
• 運(yùn)動(dòng)學(xué)約束：現(xiàn)有方法在預(yù)測(cè)末端執(zhí)行器姿態(tài)時(shí)，未充分考慮運(yùn)動(dòng)學(xué)限制，導(dǎo)致預(yù)測(cè)的姿態(tài)可能超出機(jī)器人關(guān)節(jié)的實(shí)際限制。

提出的方案

提出了Kinematics enhanced Spatial-TemporAl gRaph Diffuser (KStar Diffuser) 框架，具體包括：

• 動(dòng)態(tài)時(shí)空?qǐng)D：根據(jù)物理雙機(jī)械臂關(guān)節(jié)運(yùn)動(dòng)構(gòu)建動(dòng)態(tài)時(shí)空?qǐng)D，作為機(jī)器人結(jié)構(gòu)條件用于去噪動(dòng)作預(yù)測(cè)。
• 可微分運(yùn)動(dòng)學(xué)模塊：引入可微分運(yùn)動(dòng)學(xué)，為優(yōu)化KStar Diffuser提供參考，使策略預(yù)測(cè)更可靠且符合運(yùn)動(dòng)學(xué)約束的末端執(zhí)行器姿態(tài)。

應(yīng)用的技術(shù)

• 圖卷積網(wǎng)絡(luò) (GCN)：用于編碼動(dòng)態(tài)時(shí)空?qǐng)D，提供顯式的物理約束。
• 可微分運(yùn)動(dòng)學(xué)：通過可微分前向運(yùn)動(dòng)學(xué)將預(yù)測(cè)的關(guān)節(jié)位置映射到參考末端執(zhí)行器姿態(tài)，確保生成的動(dòng)作符合運(yùn)動(dòng)學(xué)約束。

達(dá)到的效果

• 物理結(jié)構(gòu)信息利用：有效利用物理結(jié)構(gòu)信息，生成符合機(jī)器人結(jié)構(gòu)的動(dòng)作。
• 運(yùn)動(dòng)學(xué)感知?jiǎng)幼魃?/strong>：在仿真和實(shí)際應(yīng)用中生成符合運(yùn)動(dòng)學(xué)約束的動(dòng)作，提高了動(dòng)作的可靠性和可行性。

方法

任務(wù)定義

KStar Diffuser

概述

主流方法 [17, 23, 65] 訓(xùn)練策略以預(yù)測(cè)動(dòng)作，但很少考慮決定其運(yùn)動(dòng)的機(jī)械機(jī)器人結(jié)構(gòu)。因此，我們提出了一種時(shí)空?qǐng)D來建模靜態(tài)物理結(jié)構(gòu)和動(dòng)態(tài)歷史運(yùn)動(dòng)信息。此外，為了減少末端執(zhí)行器姿態(tài)的運(yùn)動(dòng)學(xué)不可行預(yù)測(cè)，引入了一個(gè)可微分運(yùn)動(dòng)學(xué)模塊，為策略網(wǎng)絡(luò)提供運(yùn)動(dòng)學(xué)感知的參考。本文提出的運(yùn)動(dòng)學(xué)增強(qiáng)時(shí)空?qǐng)D擴(kuò)散器（KStar Diffuser）的概述如下圖所示。

骨干網(wǎng)絡(luò)

學(xué)習(xí)目標(biāo)為：

時(shí)空機(jī)器人圖

物理架構(gòu)影響整個(gè)機(jī)器人的運(yùn)動(dòng)，決定其是否能完成任務(wù)。同時(shí)，歷史空間信息對(duì)未來運(yùn)動(dòng)也很重要。因此，我們提出了一種時(shí)空?qǐng)D方法，用于建模每一步的機(jī)器人架構(gòu)和連續(xù)時(shí)間步的機(jī)器人運(yùn)動(dòng)，以表示靜態(tài)空間信息和動(dòng)態(tài)運(yùn)動(dòng)特征。

運(yùn)動(dòng)學(xué)正則化器

為了有效控制末端執(zhí)行器，生成的姿態(tài)軌跡必須通過逆運(yùn)動(dòng)學(xué)（IK）求解器進(jìn)行處理，該求解器計(jì)算關(guān)節(jié)配置以實(shí)現(xiàn)指定的姿態(tài)。然而，由于預(yù)測(cè)軌跡的生成未考慮機(jī)器人運(yùn)動(dòng)學(xué)約束，它常常超出 IK 求解器的可行范圍，導(dǎo)致執(zhí)行過程中失敗率較高。為了解決這一限制，在末端執(zhí)行器姿態(tài)學(xué)習(xí)目標(biāo)中引入了運(yùn)動(dòng)學(xué)正則化器。該正則化器將預(yù)測(cè)姿態(tài)與機(jī)器人運(yùn)動(dòng)學(xué)約束對(duì)齊，確保生成的軌跡保持在 IK 求解器的可解空間內(nèi)，從而提高軌跡執(zhí)行的可靠性。

將可微正向運(yùn)動(dòng)學(xué)（DFK）引入擴(kuò)散過程，使得姿態(tài)損失的梯度能夠通過運(yùn)動(dòng)學(xué)函數(shù)反向傳播，確保每個(gè)去噪步驟都符合關(guān)節(jié)約束，從而優(yōu)化末端執(zhí)行器的控制精度和魯棒性。

訓(xùn)練與推理

訓(xùn)練

使用條件動(dòng)作生成模式來訓(xùn)練 KStar Diffuser，其被建模為條件去噪擴(kuò)散。損失函數(shù)定義為均方誤差（MSE），如下所示：

實(shí)驗(yàn)

數(shù)據(jù)集與評(píng)估設(shè)置

數(shù)據(jù)集

雙機(jī)械臂操作任務(wù)對(duì)兩個(gè)機(jī)械臂之間的協(xié)調(diào)性、同步性和對(duì)稱性提出了更高的要求，因此比單臂任務(wù)更具挑戰(zhàn)性。為了評(píng)估 KStar Diffuser 在這些方面的能力，使用 RLBench2 基準(zhǔn)測(cè)試 進(jìn)行了全面的實(shí)驗(yàn)。RLBench2 是 RLBench 的擴(kuò)展版本，專為雙機(jī)械臂操作設(shè)計(jì)，包含與真實(shí)場(chǎng)景高度相似的任務(wù)。

評(píng)估設(shè)置

為了評(píng)估策略性能，采用成功率作為主要指標(biāo)。盡管策略在執(zhí)行過程中會(huì)生成多個(gè)連續(xù)動(dòng)作，但我們主要關(guān)注最終目標(biāo)的實(shí)現(xiàn)，而非中間步驟。每個(gè)任務(wù)都有其目標(biāo)狀態(tài)定義的成功標(biāo)準(zhǔn)。為了全面評(píng)估策略的能力，我們?cè)谟?xùn)練過程中使用不同數(shù)量的演示（20 和 100）進(jìn)行實(shí)驗(yàn)。下圖 3 展示了我們的實(shí)驗(yàn)設(shè)置，包括仿真環(huán)境和 Cobot Agilex ALOHA 機(jī)器人。仿真任務(wù)和真實(shí)世界實(shí)驗(yàn)設(shè)置的詳細(xì)描述見附錄 B。

基線方法

系統(tǒng)地評(píng)估了 KStar Diffuser 與以下兩類最先進(jìn)方法的對(duì)比：

基于 Transformer 的方法：

1. 動(dòng)作分塊 Transformer (ACT)：采用條件變分自編碼器（CVAE）架構(gòu)，包含用于關(guān)節(jié)角度序列預(yù)測(cè)的編碼器-解碼器框架。
2. 機(jī)器人視角 Transformer 領(lǐng)導(dǎo)者跟隨 (RVT-LF)：以 RVT 為骨干，結(jié)合多視角 Transformer 進(jìn)行跨視角信息聚合和圖像重渲染，并通過領(lǐng)導(dǎo)者跟隨機(jī)制進(jìn)行動(dòng)作預(yù)測(cè)。
3. 感知-動(dòng)作領(lǐng)導(dǎo)者跟隨 (PerAct-LF)：基于 PerAct 的領(lǐng)導(dǎo)者跟隨范式，利用感知 Transformer 編碼指令和體素觀察，以生成最優(yōu)體素動(dòng)作。
4. PerAct2：通過為雙機(jī)械臂動(dòng)作實(shí)現(xiàn)統(tǒng)一特征空間并結(jié)合自注意力機(jī)制進(jìn)行同步雙機(jī)械臂動(dòng)作預(yù)測(cè)，增強(qiáng)了 PerAct。

基于擴(kuò)散的方法：

1. 基于關(guān)節(jié)的擴(kuò)散策略 (DP-J)：在模仿學(xué)習(xí)框架中采用擴(kuò)散模型進(jìn)行機(jī)器人操作，專注于關(guān)節(jié)角度預(yù)測(cè)。
2. 基于末端執(zhí)行器的擴(kuò)散策略 (DP-EE)：重新實(shí)現(xiàn)了 Diffusion Policy，以預(yù)測(cè)末端執(zhí)行器姿態(tài)而非關(guān)節(jié)角度，提供了一種替代控制范式。
3. 3D 擴(kuò)散策略 (DP3)：通過結(jié)合點(diǎn)云進(jìn)行關(guān)節(jié)角度預(yù)測(cè)，增強(qiáng)了 3D 感知能力。

與 SOTA 方法的對(duì)比結(jié)果

RLBench2 上的實(shí)驗(yàn)結(jié)果

如下表 1 所示，KStar Diffuser 顯著優(yōu)于其他最先進(jìn)的基線方法，在 20 和 100 個(gè)訓(xùn)練演示的情況下，整體性能均提高了 20% 以上。

• 類似于學(xué)習(xí)單臂策略，學(xué)習(xí)雙機(jī)械臂策略的過程可以快速適應(yīng)并實(shí)現(xiàn)較高的成功率，前提是任務(wù)軌跡分布相對(duì)一致。例如，在“推箱子”任務(wù)中，目標(biāo)是讓兩個(gè)機(jī)械臂沿固定軌跡將箱子推向指定目標(biāo)，KStar Diffuser 和其他基線模型表現(xiàn)良好。然而，隨著任務(wù)復(fù)雜性的增加，成功率會(huì)下降。例如，在“舉球”任務(wù)中，兩個(gè)機(jī)械臂必須同時(shí)舉起一個(gè)大球才能完成任務(wù)。任何運(yùn)動(dòng)的不同步都可能導(dǎo)致不穩(wěn)定，使球滑落并最終導(dǎo)致任務(wù)失敗。KStar Diffuser 通過顯式建模兩個(gè)機(jī)械臂之間的空間和運(yùn)動(dòng)關(guān)系，在此類雙機(jī)械臂任務(wù)中實(shí)現(xiàn)了穩(wěn)健的性能，比其他方法高出 6% 以上。
• 與單臂系統(tǒng)不同，雙機(jī)械臂系統(tǒng)具有協(xié)作操作的能力。直接從單臂操作適應(yīng)到雙機(jī)械臂操作的方法在任務(wù)中表現(xiàn)出較高的失敗率，例如“拿筆記本電腦”任務(wù)，因?yàn)樗鼈內(nèi)狈?duì)機(jī)械臂之間空間和運(yùn)動(dòng)關(guān)系的考慮。具體來說，如圖 4 所示，該任務(wù)涉及從柜子表面拿起一個(gè)平放的筆記本電腦。由于筆記本電腦完全貼合桌面，機(jī)械臂無法直接抓取。相反，有效的策略是控制一個(gè)機(jī)械臂將筆記本電腦從柜子向外推一小段距離，使另一個(gè)機(jī)械臂能夠拿起它。KStar Diffuser 的成功率比其他方法高出約 9%，展示了其捕捉雙機(jī)械臂協(xié)作操作所需協(xié)調(diào)運(yùn)動(dòng)模式的能力。

真實(shí)世界實(shí)驗(yàn)結(jié)果

為了全面評(píng)估策略的有效性，我們基于仿真基準(zhǔn)在真實(shí)世界中構(gòu)建了 2 個(gè)任務(wù)。真實(shí)世界任務(wù)的表現(xiàn)如下表 2 所示。

與仿真結(jié)果類似，未考慮雙機(jī)械臂場(chǎng)景的策略（如 ACT、DP 和 DP3）在所有雙機(jī)械臂任務(wù)中表現(xiàn)有限，平均成功率約為 20%。盡管 PerAct2 通過將雙機(jī)械臂動(dòng)作映射到共享學(xué)習(xí)空間來設(shè)計(jì)雙機(jī)械臂任務(wù)，但它未能捕捉雙機(jī)械臂系統(tǒng)的空間結(jié)構(gòu)，導(dǎo)致執(zhí)行過程中機(jī)械臂協(xié)調(diào)無效。此外，我們還發(fā)現(xiàn) PerAct2 在其預(yù)測(cè)的末端執(zhí)行器姿態(tài)上存在顯著的逆運(yùn)動(dòng)學(xué)問題，包括關(guān)節(jié)配置沖突和不可達(dá)位置，如下圖 4 所示。這可能是由于 PerAct2 在捕捉雙機(jī)械臂系統(tǒng)中復(fù)雜空間約束和運(yùn)動(dòng)學(xué)關(guān)系方面的能力有限。相比之下，KStar Diffuser 實(shí)現(xiàn)了卓越的雙機(jī)械臂協(xié)調(diào)能力，比其他方法高出 10% 以上，因?yàn)樗晒Σ蹲搅穗p機(jī)械臂之間的運(yùn)動(dòng)模式并預(yù)測(cè)了可行的末端執(zhí)行器姿態(tài)。

消融實(shí)驗(yàn)

模型組件的影響

為了系統(tǒng)評(píng)估 KStar Diffuser 中每個(gè)組件的貢獻(xiàn)，在仿真和真實(shí)環(huán)境中對(duì)“傳遞物品”任務(wù)進(jìn)行了消融實(shí)驗(yàn)。我們?cè)O(shè)計(jì)了一個(gè)逐步消融的過程：首先移除可微正向運(yùn)動(dòng)學(xué)（DFK）模塊，同時(shí)保留時(shí)空?qǐng)D（ST Graph），然后完全禁用時(shí)空?qǐng)D和運(yùn)動(dòng)學(xué)正則化器（KR）。下表 3 中的實(shí)驗(yàn)結(jié)果展示了每個(gè)組件的關(guān)鍵作用。移除 KR 導(dǎo)致成功率顯著下降，在真實(shí)場(chǎng)景中尤為明顯。這種性能下降可歸因于仿真環(huán)境和真實(shí)環(huán)境之間的根本差異。仿真環(huán)境保持一致的、無噪聲的輸入，而真實(shí)場(chǎng)景引入了各種擾動(dòng)（如傳感器噪聲和光反射），在沒有 KR 正則化作用的情況下，策略更容易違反運(yùn)動(dòng)學(xué)約束。進(jìn)一步移除 ST Graph 和 KR 會(huì)導(dǎo)致所有實(shí)驗(yàn)設(shè)置中的性能大幅下降。這一觀察結(jié)果說明了兩個(gè)關(guān)鍵點(diǎn)：首先，ST Graph 有效地捕捉了關(guān)節(jié)之間的時(shí)空依賴性，這對(duì)于協(xié)調(diào)機(jī)械臂之間的相對(duì)位置和交互至關(guān)重要；其次，圖結(jié)構(gòu)對(duì)機(jī)器人物理架構(gòu)的顯式編碼通過保持空間和時(shí)間一致性，增強(qiáng)了策略對(duì)意外擾動(dòng)的魯棒性。我們對(duì)動(dòng)作分塊大小、歷史長(zhǎng)度和權(quán)衡系數(shù)進(jìn)行了廣泛的消融研究。

定性分析

在前面圖 4 中進(jìn)一步展示了定性分析。分別比較了 KStar Diffuser 與 DP3 和 PerAct2 在仿真和真實(shí)環(huán)境中執(zhí)行雙機(jī)械臂操作任務(wù)的表現(xiàn)。

在仿真任務(wù)中，由于筆記本電腦平放在柜子上，直接抬起是不可行的。一個(gè)機(jī)械臂開始向前推，創(chuàng)造空間，而另一個(gè)機(jī)械臂同時(shí)抓取并抬起筆記本電腦。KStar Diffuser 有效地建模了這種雙機(jī)械臂協(xié)調(diào)，生成了精確的同步動(dòng)作軌跡。相反，從單臂策略適應(yīng)到雙機(jī)械臂配置的 DP3 未能實(shí)現(xiàn)有效協(xié)調(diào)。具體來說，在執(zhí)行推動(dòng)動(dòng)作后，右臂沒有停止，阻礙了左臂的抬起過程。

在真實(shí)世界任務(wù)中，KStar Diffuser 生成了左右機(jī)械臂之間可執(zhí)行的物品傳遞軌跡，整個(gè)任務(wù)過程中沒有發(fā)生碰撞，體現(xiàn)了其強(qiáng)大的環(huán)境適應(yīng)性和碰撞避免能力。相反，PerAct2 在傳遞過程中發(fā)生了碰撞（用紅色標(biāo)記），表明其對(duì)動(dòng)態(tài)真實(shí)世界變量的處理能力較弱，且缺乏對(duì)機(jī)器人運(yùn)動(dòng)的運(yùn)動(dòng)學(xué)感知。

結(jié)論

本文提出了一種新穎的運(yùn)動(dòng)學(xué)增強(qiáng)時(shí)空?qǐng)D擴(kuò)散模型（KStar Diffuser），它將機(jī)器人結(jié)構(gòu)和運(yùn)動(dòng)學(xué)顯式地結(jié)合到雙機(jī)械臂運(yùn)動(dòng)生成過程中。該模型包括一個(gè)時(shí)空機(jī)器人圖，顯式建模機(jī)器人物理配置以指導(dǎo)生成動(dòng)作的去噪過程，以及一個(gè)運(yùn)動(dòng)學(xué)正則化器，通過引入關(guān)節(jié)空間監(jiān)督來增強(qiáng) NBP 學(xué)習(xí)目標(biāo)。大量實(shí)驗(yàn)表明，KStar Diffuser 在仿真和真實(shí)世界任務(wù)中均大幅優(yōu)于基線方法。

局限性與未來方向

雖然通過 GNN 建模和運(yùn)動(dòng)學(xué)約束探索了機(jī)器人結(jié)構(gòu)的影響，但末端執(zhí)行器姿態(tài)預(yù)測(cè)和逆運(yùn)動(dòng)學(xué)的核心控制邏輯仍然存在。未來，我們計(jì)劃利用神經(jīng)網(wǎng)絡(luò)直接建模關(guān)節(jié)運(yùn)動(dòng)，將機(jī)器人運(yùn)動(dòng)空間與人類世界的笛卡爾空間對(duì)齊。

本文轉(zhuǎn)自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/IjBtYRSw_h5YVJegUyrg2g??