現(xiàn)在訓(xùn)練機(jī)器人，都不需要真實(shí)數(shù)據(jù)了？

剛剛，F(xiàn)igure提出了一種全新的基于RL的端到端網(wǎng)絡(luò)。

只需要在純模擬環(huán)境中進(jìn)行訓(xùn)練，用幾個(gè)小時(shí)生成模擬數(shù)據(jù)，就能讓Figure 02像人類一樣自然行走了！

該方法的亮點(diǎn)如下：

• 在模擬環(huán)境中運(yùn)用強(qiáng)化學(xué)習(xí)，讓機(jī)器人不斷試錯(cuò)，學(xué)會(huì)像人類一樣走路。
• 通過高保真物理模擬器，僅用幾個(gè)小時(shí)，就模擬出多年的數(shù)據(jù)。
• 將模擬中的域隨機(jī)化與機(jī)器人上的高頻扭矩反饋相結(jié)合，無需微調(diào)，就能把模擬環(huán)境中的策略應(yīng)用于真實(shí)機(jī)器人。

更讓人驚喜的是，一個(gè)神經(jīng)網(wǎng)絡(luò)策略就能控制一大批機(jī)器人！

通過一個(gè)高保真物理模擬器，F(xiàn)igure最新的機(jī)器人僅用幾個(gè)小時(shí)，就能模擬出幾年的數(shù)據(jù)。

為了把模擬環(huán)境的訓(xùn)練成果應(yīng)用到真實(shí)機(jī)器人上，團(tuán)隊(duì)采用了兩種辦法。

一是在模擬訓(xùn)練時(shí)進(jìn)行域隨機(jī)化，讓機(jī)器人接觸不同的物理屬性；二是在真實(shí)機(jī)器人上安裝高頻扭矩反饋裝置。

這樣一來，模擬環(huán)境中訓(xùn)練好的策略，無需任何微調(diào)，就可以「零樣本」遷移到真實(shí)硬件上。

在強(qiáng)化學(xué)習(xí)中，控制器通過不斷試錯(cuò)，根據(jù)獎(jiǎng)勵(lì)信號(hào)來調(diào)整自己的行為。

Figure在高保真模擬環(huán)境中訓(xùn)練RL控制器，運(yùn)行數(shù)千個(gè)具有不同參數(shù)和場(chǎng)景的虛擬人形機(jī)器人。

這種多樣化的訓(xùn)練，使訓(xùn)練出的策略能直接用在真實(shí)的Figure 02機(jī)器人上，走出穩(wěn)健的人類步伐。

Figure基于RL的訓(xùn)練方法，大大縮短了開發(fā)時(shí)間，在現(xiàn)實(shí)世界中表現(xiàn)也很穩(wěn)定。

強(qiáng)化學(xué)習(xí)訓(xùn)練

用強(qiáng)化學(xué)習(xí)方法，在GPU加速的物理模擬環(huán)境中，訓(xùn)練行走控制器。

這個(gè)模擬環(huán)境效率超高，短短幾個(gè)小時(shí)就能收集到相當(dāng)于數(shù)年的模擬訓(xùn)練數(shù)據(jù)。

在模擬器中，數(shù)千個(gè)Figure 02機(jī)器人并行訓(xùn)練，每個(gè)機(jī)器人的物理參數(shù)都不一樣。

它們會(huì)遇到各種各樣的情況，像不同的地形，執(zhí)行器動(dòng)力學(xué)變化，以及被絆倒、滑倒和推搡等。

這時(shí)，一個(gè)神經(jīng)網(wǎng)絡(luò)策略學(xué)習(xí)控制所有的機(jī)器人。

人形機(jī)器人有個(gè)很大的優(yōu)勢(shì)，它的硬件平臺(tái)通用性很強(qiáng)，能執(zhí)行類似人類的任務(wù)。

不過，RL訓(xùn)練出來的策略，有時(shí)不是最佳的，沒辦法讓機(jī)器人走出人類走路的感覺，比如腳跟先著地、腳尖蹬地，手臂擺動(dòng)和腿部動(dòng)作的配合。

所以，在訓(xùn)練時(shí)，會(huì)獎(jiǎng)勵(lì)那些走路軌跡像人的機(jī)器人，把偏好融入學(xué)習(xí)中。

這些軌跡為策略允許生成的行走風(fēng)格建立了先驗(yàn)條件。

除了走路軌跡像人，研究者還設(shè)置了其他獎(jiǎng)勵(lì)條件，比如優(yōu)化機(jī)器人速度跟蹤、功耗更低，更好地應(yīng)對(duì)外界干擾和地形變化。

從模擬到現(xiàn)實(shí)的跨越

最后一步，是把模擬環(huán)境中訓(xùn)練好的策略應(yīng)用到真實(shí)的機(jī)器人上。

模擬機(jī)器人只是高維機(jī)電系統(tǒng)的近似，在模擬環(huán)境中訓(xùn)練的策略只能保證在這些模擬機(jī)器人上有效，不一定能在真實(shí)機(jī)器人上正常工作。

為解決這個(gè)問題，在模擬訓(xùn)練時(shí)，采用域隨機(jī)化技術(shù)，隨機(jī)改變每個(gè)機(jī)器人的物理屬性，讓策略能適應(yīng)各種不同的情況。

這有助于策略零樣本泛化到真實(shí)機(jī)器人上，而無需任何額外的微調(diào)。

同時(shí)，在真實(shí)機(jī)器人上，用千赫茲速率扭矩反饋控制，來修正執(zhí)行器模型的誤差。

這樣，即使機(jī)器人之間有些差異，如地面摩擦力不同，或受到外界推搡，這個(gè)策略都具有魯棒性，能讓Figure 02機(jī)器人像人一樣行走。

可以看到，10個(gè)Figure 02機(jī)器人用得都是同一個(gè)RL神經(jīng)網(wǎng)絡(luò)。

說明現(xiàn)有的策略不用再做調(diào)整，就能推廣到大批機(jī)器人，對(duì)未來的大規(guī)模商業(yè)應(yīng)用是個(gè)好消息。

Figure Robotics

Figure Robotics是一家新興的機(jī)器人公司，專注于開發(fā)通用人形機(jī)器人，旨在通過先進(jìn)的人工智能擴(kuò)展人類能力。

公司專注于構(gòu)建像人類一樣學(xué)習(xí)和推理的機(jī)器人。

Figure Robotics一開始與OpenAI合作，然而在內(nèi)部人工智能（Helix）方面取得「重大突破」后，于2025年2月結(jié)束了合作，F(xiàn)igure Robotics轉(zhuǎn)為自主開發(fā)Helix VLA模型。

Figure 02具有肉眼看起來最接近未來成熟形態(tài)的外形設(shè)計(jì)。

簡(jiǎn)直和威爾史密斯《I,Robot》中的機(jī)器人如出一轍，渾圓的面罩模型也避免了恐怖谷效應(yīng)。

身高和體重也完美模擬一個(gè)成年男性。

當(dāng)機(jī)器人能像人類一樣學(xué)會(huì)自然行走，是否意味著也能像人一樣學(xué)會(huì)其他「自然」動(dòng)作？

更加重要的一個(gè)「隱喻」是，目前所有的人形機(jī)器人都是按照人類的形態(tài)打造的。

這更加方便了未來機(jī)器人與人類生活的融合。

除了自然行走，機(jī)器人還有很多「人類技能」需要學(xué)習(xí)，但他們已經(jīng)在路上了。