本項(xiàng)目由上海交通大學(xué)APEX實(shí)驗(yàn)室具身智能組和上海人工智能實(shí)驗(yàn)室具身智能中心共同完成。上海交通大學(xué)的張偉楠教授主要研究強(qiáng)化學(xué)習(xí)、智能體技術(shù)和具身智能。龐江淼博士主要研究機(jī)器人學(xué)習(xí)，多模態(tài)學(xué)習(xí)，具身智能，負(fù)責(zé)上海人工智能實(shí)驗(yàn)室具身智能中心；劉明桓博士畢業(yè)于上海交通大學(xué)，目前在字節(jié)跳動機(jī)器人研究團(tuán)隊(duì)擔(dān)任研究科學(xué)家，研究機(jī)器人的虛擬現(xiàn)實(shí)遷移；薛宇斐和董文韜是上海交通大學(xué)博士生，同時是上海人工智能實(shí)驗(yàn)室的見習(xí)研究員。

在春晚上扭秧歌的機(jī)器人，現(xiàn)在也能跑跳自如了？

還能在室內(nèi)室外打一套拳擊，看這兩步跳的，害怕嗎？

它還能彎腰搬箱子：

來自上海交通大學(xué)和上海AI Lab的研究團(tuán)隊(duì)提出了一套通用的人形機(jī)器人控制器 HugWBC，讓人形機(jī)器人可以同時掌握多達(dá)四種步態(tài)，以及可以自主組合、用于精細(xì)化調(diào)整機(jī)器人行為的 8 種命令！

• 項(xiàng)目主頁：https://hugwbc.github.io
• 論文地址：https://arxiv.org/abs/2502.03206

盡管此前的人形機(jī)器人在運(yùn)動上取得了很多令人驚嘆的結(jié)果，但離人類還差的多！人類在運(yùn)動中具有令人驚嘆的細(xì)粒度調(diào)整能力！比如，人類可以輕易實(shí)現(xiàn)多種步態(tài)，例如跑步、雙腳跳躍、甚至單腳跳躍。此外，人類還能調(diào)整步伐的大小、頻率、身體的姿態(tài)，同時也能保證上身各種動作的穩(wěn)定。因此，研究者提出思考，這種通用的控制能力，是否應(yīng)該被機(jī)器人的底層控制模塊所掌握？

和此前控制器只跟蹤速度指令、或是關(guān)鍵點(diǎn)不同，HugWBC 的研究團(tuán)隊(duì)提出了一套擴(kuò)展的指令空間，包含任務(wù)指令（即速度跟蹤）和行為指令，后者包括姿態(tài)、腳步和步態(tài)，以提供細(xì)粒度的運(yùn)動控制，從而極大發(fā)揮人形機(jī)器人的硬件潛能。在默認(rèn)情況下，HugWBC 是一套全身控制器，同時控制上肢和下肢用于高動態(tài)運(yùn)動；與此同時，HugWBC 也提供了上肢的外部控制器介入，用于支持進(jìn)一步的遙操和精細(xì)控制，和實(shí)現(xiàn)后續(xù)的移動操作類任務(wù)。為了達(dá)到這一目標(biāo)，研究者們結(jié)合了控制理論和強(qiáng)化學(xué)習(xí)，進(jìn)行了扎實(shí)的方案設(shè)計(jì)。

擴(kuò)展的指令空間和步態(tài)獎勵

HugWBC 框架

HugWBC 引入的擴(kuò)展指令空間包括 1）任務(wù)指令，在本工作中主要是移動的速度指令；2）行為指令，包括腳步、姿態(tài)和步態(tài)指令。此外，控制器策略還接收機(jī)器人本體感知觀測和上肢介入信號，如無上肢介入，則控制器默認(rèn)控制全部關(guān)節(jié)，實(shí)現(xiàn)自然的擺動。

具體來說，腳步指令包括步頻和最大擺動高度；姿態(tài)指令包括機(jī)器人高度、前傾角和腰部轉(zhuǎn)動角；步態(tài)指令則是產(chǎn)生不同類型步態(tài)的關(guān)鍵，主要由雙腳的相位變量（即雙腳在步態(tài)周期內(nèi)的進(jìn)度）、相位差（即雙腳在步態(tài)周期內(nèi)的進(jìn)度差）和占空比（即足部騰空時間占步態(tài)周期的比例）。通過組合這些指令即可以產(chǎn)生豐富多樣、且細(xì)粒度的步態(tài)。

為了引導(dǎo)機(jī)器人能根據(jù)指令學(xué)習(xí)到細(xì)粒度的步態(tài)，研究者在跟蹤獎勵的基礎(chǔ)之上，提出了兩種額外的步態(tài)獎勵：

即接觸 - 擺動獎勵和足端擺動獎勵，用于引導(dǎo)機(jī)器人產(chǎn)生對應(yīng)的步態(tài)周期和足端軌跡。

對稱獎勵

自然對稱的運(yùn)動行為可以最小化能量消耗的效率，并通過后天學(xué)習(xí)逐漸被人類掌握。具有高度仿生機(jī)制的人形機(jī)器人也具有對稱的結(jié)構(gòu)特征。然而，如果沒有先驗(yàn)知識，對稱形態(tài)信息很難被策略探索，尤其是對于產(chǎn)生多樣化行為的策略。這使得最初的探索變得更加困難，使得策略很容易陷入局部最優(yōu)，導(dǎo)致不自然的運(yùn)動。為了利用這種形態(tài)對稱的優(yōu)勢，研究者為人形機(jī)器人提出了鏡像函數(shù) F (?) 和對應(yīng)的損失函數(shù)，以鼓勵策略產(chǎn)生對稱和自然的運(yùn)動。

上身介入的魯棒性課程訓(xùn)練

HugWBC 將自己定位為基礎(chǔ)人形控制器，因此需要支持上半身的外部控制介入，可用于遙操等數(shù)據(jù)采集。研究者們通過設(shè)計(jì)上肢的噪聲課程來促使機(jī)器人學(xué)習(xí)到這一點(diǎn)。

最后，整套訓(xùn)練框架使用非對稱的強(qiáng)化學(xué)習(xí)算法在模擬環(huán)境里訓(xùn)練，實(shí)現(xiàn)真實(shí)場景的部署。

評估：指令跟蹤誤差和魯棒性測試

在跟蹤性誤差實(shí)驗(yàn)分析中，研究人員首先分析了在四種步態(tài)下單個指令的跟蹤誤差，如表 3 所示，其中行走（Walking）和站立（Standing）步態(tài)的跟蹤誤差明顯小于雙腳跳躍（Jumping）和單腳跳躍（Hopping），每種步態(tài)的跟蹤精度與該步態(tài)在仿真中的訓(xùn)練難度一致。例如，行走和站立的模式可以在訓(xùn)練中先學(xué)習(xí)，而跳躍和跳躍的步態(tài)出現(xiàn)較晚，需要較長的訓(xùn)練時間才能熟練掌握。且低速下的運(yùn)動技能更容易掌握，高速下機(jī)器人的動態(tài)穩(wěn)定性下降，會導(dǎo)致跟蹤精度的下降。

此后，研究人員評估了不同介入訓(xùn)練方法對于策略在上肢介入情況下的有效性，如表 4 所示，HugWBC 在三類測試中均取得了最好的跟蹤表現(xiàn)，表明 HugWBC 的噪聲課程干預(yù)策略使控制策略能夠處理大范圍的手臂運(yùn)動，使其可以有效的支持復(fù)雜的移動操作任務(wù)。而僅學(xué)習(xí) AMASS 數(shù)據(jù)或無介入訓(xùn)練的策略則在訓(xùn)練分布外的測試中出現(xiàn)了跟蹤精度的災(zāi)難性下降。

為了進(jìn)一步說明 HugWBC 對于操作任務(wù)的支持，研究人員評估了站立狀態(tài)下指令跟蹤的平均足端移動距離，如表 5 所示，HugWBC 足端移動距離最小，在站立狀態(tài)下調(diào)整姿勢引入了對穩(wěn)定性的額外要求，因?yàn)闄C(jī)器人通過踱步來保持平衡可能會增加完成需要站立不動的操作，實(shí)驗(yàn)結(jié)果表明 HugWBC 在站立的各種姿態(tài)下可以支持精細(xì)的操作任務(wù)任務(wù)的難度。

隨后，研究人員分析了介入訓(xùn)練對策略魯棒性的提升。如圖 2 所示，HugWBC 在兩項(xiàng)干擾測試中的表現(xiàn)明顯優(yōu)于未經(jīng)過介入訓(xùn)練的基線方法。其原因在于，干預(yù)使機(jī)器人能夠有效應(yīng)對來自上身的各種擾動，在訓(xùn)練過程中幾乎涵蓋了所有極端情況，從而顯著提高了策略的魯棒性。

指令的組合分析

研究者分還分析了組合指令對控制器表現(xiàn)的影響，使用熱力圖矩陣來高效地可視化了不同指令在對應(yīng)范圍內(nèi)的跟蹤精度。以步行狀態(tài)為例，

可以看到，在較小的速度范圍內(nèi)，前向線速度、角速度、身體高度、轉(zhuǎn)腰角度都不會明顯的相互干擾，一旦速度超過 1.5m/s，控制器會犧牲跟蹤精度來保持動態(tài)的平衡與穩(wěn)定。橫向速度、抬腳高度與身體俯仰角則常受到明顯的干擾。頻率則是需要在合適區(qū)間內(nèi)才能使表現(xiàn)更好。抬腳高度與頻率、身體俯仰角與身體高度這兩組指令則有明顯的關(guān)聯(lián)性。