蘋果布局人形機(jī)器人：“自我為中心”感知系統(tǒng)動態(tài)避障，比英偉達(dá)cuRobo計算效率提升26倍

2024-12-31 07:20:00

人工智能

最近他們確實(shí)有新動作——開發(fā)了一套機(jī)器人感知系統(tǒng)！系統(tǒng)名為ARMOR，軟硬件協(xié)同增強(qiáng)機(jī)器人的“空間意識”，能動態(tài)防碰撞的那種。

蘋果要搞人形機(jī)器人這事兒現(xiàn)在傳得沸沸揚(yáng)揚(yáng)。

最近他們確實(shí)有新動作——開發(fā)了一套機(jī)器人感知系統(tǒng)！

系統(tǒng)名為ARMOR，軟硬件協(xié)同增強(qiáng)機(jī)器人的“空間意識”，能動態(tài)防碰撞的那種。

硬件方面，ARMOR通過在機(jī)器人手臂上安裝小型智能深度傳感器，為機(jī)器人提供幾乎完整的環(huán)境視圖，解決了傳統(tǒng)機(jī)器人感知中的盲點(diǎn)和遮擋問題。

軟件方面，蘋果開發(fā)了一個基于Transformer的AI驅(qū)動ARMOR-Policy，能夠從人類動作中學(xué)習(xí)，幫助機(jī)器人動態(tài)規(guī)劃行動。

團(tuán)隊還將ARMOR部署在了傅利葉GR-1機(jī)器人上進(jìn)行實(shí)驗。

實(shí)驗結(jié)果顯示，與使用四個頭戴式和外部安裝的深度相機(jī)（外心感知）相比，ARMOR系統(tǒng)使碰撞降低了63.7%！

與基于采樣的運(yùn)動規(guī)劃專家系統(tǒng)cuRobo相比，ARMOR-Policy計算效率提升26倍，確保機(jī)器人能夠迅速行動。

看到蘋果在人形機(jī)器人方面的布局，網(wǎng)友直呼這是大勢所趨：

他們不可能永遠(yuǎn)依賴智能手機(jī)賺錢。從長遠(yuǎn)來看，機(jī)器人市場將遠(yuǎn)大于智能手機(jī)市場。

ARMOR系統(tǒng)長啥樣？

當(dāng)前，傳統(tǒng)人形機(jī)器人通常依賴頭部或軀干安裝的集中式相機(jī)和激光雷達(dá)進(jìn)行環(huán)境感知，這種方式雖然易于集成且能提供較好的視野范圍，但在手臂和手部區(qū)域常常存在嚴(yán)重的遮擋問題。

雖然一些研究嘗試在機(jī)器人終端執(zhí)行器上集成觸覺傳感，但這種方案成本高昂，且難以大規(guī)模應(yīng)用于機(jī)器人手臂，同時在策略學(xué)習(xí)中如何有效利用觸覺輸入仍待解決。

ARMOR系統(tǒng)，提供了一種硬件和軟件整合設(shè)計，它由來自卡內(nèi)基梅隆大學(xué)的學(xué)者Daehwa Kim在蘋果實(shí)習(xí)期間與蘋果團(tuán)隊共同開發(fā)。

在硬件方面，與集中式RGBD相機(jī)一次性捕捉密集幀中的全部細(xì)節(jié)不同，團(tuán)隊選擇了SparkFun VL53L5CX飛行時間（ToF）激光雷達(dá)作為基礎(chǔ)傳感單元，將稀疏感知分布在多個傳感器上，形成“以自我為中心的感知”。

這種傳感器體積為6.4×3.0×1.5mm，可以以15Hz的頻率提供8×8分辨率的深度圖像，對角視場為63°，測距范圍達(dá)4000mm。

研究團(tuán)隊在機(jī)器人的每個手臂上布置了20個這樣的傳感器，共計40個傳感器形成分布式感知網(wǎng)絡(luò)。

每四個傳感器連接到一個XIAO ESP微控制器，通過I2C總線進(jìn)行數(shù)據(jù)讀取，再通過USB傳輸?shù)綑C(jī)器人的板載計算機(jī)（Jetson Xavier NX），最后無線傳輸?shù)脚鋫銷VIDIA GeForce RTX 4090 GPU的Linux主機(jī)進(jìn)行處理，確保整個系統(tǒng)能夠維持15Hz的刷新率。

在軟件方面，研究團(tuán)隊開發(fā)了基于Transformer編碼器-解碼器架構(gòu)的ARMOR-Policy，類似于動作分塊Transformer（ACT）。

該策略通過模仿學(xué)習(xí)從無碰撞的人類運(yùn)動演示中學(xué)習(xí)。

為了訓(xùn)練這個策略，研究團(tuán)隊使用了AMASS數(shù)據(jù)集中的311922個人類真實(shí)運(yùn)動序列（約86.6小時），這些數(shù)據(jù)包含了各種相關(guān)的人類姿態(tài)，如操作、舞蹈和社交行為等。

團(tuán)隊將這些人類動作軌跡重定向到機(jī)器人的關(guān)節(jié)配置上，并在軌跡周圍生成緊湊的障礙物，確保軌跡本身不發(fā)生碰撞。

訓(xùn)練數(shù)據(jù)的生成采用了三種策略：避障運(yùn)動、緊急停止和無碰撞運(yùn)動。

ARMOR-Policy的網(wǎng)絡(luò)架構(gòu)設(shè)計考慮到了運(yùn)動規(guī)劃可能存在多個有效解的特點(diǎn)。通過引入額外的編碼器層來推斷潛在變量z，使策略能夠通過調(diào)整z生成不同的運(yùn)動軌跡候選。

在推理階段，系統(tǒng)會并行計算N個候選軌跡，并通過最小化機(jī)器人與點(diǎn)云之間的距離來選擇最優(yōu)路徑。網(wǎng)絡(luò)輸入包括潛在變量z、當(dāng)前和目標(biāo)關(guān)節(jié)位置（28維向量），以及40個ToF激光雷達(dá)傳感器的深度圖像數(shù)據(jù)。

深度圖像通過修改后的單通道ResNet18骨干網(wǎng)絡(luò)處理，提取512維特征。整個網(wǎng)絡(luò)架構(gòu)包含約84M參數(shù)。

實(shí)驗驗證顯示，ARMOR系統(tǒng)在多個方面都優(yōu)于現(xiàn)有方案。

與使用四個頭戴式和外部安裝的深度相機(jī)（外部感知）的傳統(tǒng)策略相比，ARMOR系統(tǒng)在避障性能上取得了顯著提升，碰撞降低63.7%，成功率提升78.7%。

同時，與基于采樣的運(yùn)動規(guī)劃專家系統(tǒng)cuRobo相比，ARMOR-Policy表現(xiàn)出更好的性能，碰撞減少31.6%，成功率提高16.9%，計算效率更是提升了26倍。

研究團(tuán)隊還通過在傅利葉GR-1人形機(jī)器人上部署28個ToF激光雷達(dá)，實(shí)際驗證了ARMOR系統(tǒng)在真實(shí)環(huán)境中的應(yīng)用可行性，系統(tǒng)能夠?qū)崿F(xiàn)15Hz的實(shí)時避障軌跡更新。

“蘋果做機(jī)器人幾乎是必然的”

最近，關(guān)于蘋果發(fā)力人形機(jī)器人的爆料頻出。

比如彭博社爆料，蘋果正在尋找其“下一個重大項目”，機(jī)器人正是其關(guān)注的領(lǐng)域之一。蘋果工程團(tuán)隊正在開發(fā)多種家庭機(jī)器人設(shè)備以及可能增強(qiáng)家庭機(jī)器人實(shí)用性的AI軟件和功能。

而蘋果機(jī)器人研發(fā)活動由硬件工程部門和John Giannandrea領(lǐng)導(dǎo)的AI與機(jī)器學(xué)習(xí)團(tuán)隊共同進(jìn)行。

更有爆料指出，蘋果將優(yōu)先打造桌面機(jī)器人，它將作為“家庭指揮中心”，可用于 FaceTime視頻通話以及家庭安全監(jiān)控。

這一系列舉動也引發(fā)了網(wǎng)友大量討論。

有網(wǎng)友分析，蘋果在人形機(jī)器人賽道的布局，幾乎是必然的：

蘋果人形機(jī)器人？這不僅是可能的，幾乎是必然的。憑借他們的設(shè)計理念和生態(tài)系統(tǒng)整合，他們將為個人機(jī)器人設(shè)定一個高標(biāo)準(zhǔn)。
隨著智能手機(jī)的逐漸淘汰，機(jī)器人確實(shí)有可能成為下一個普遍存在的技術(shù)。想象一下，Siri體現(xiàn)在一個時尚的人形助手中，這將是一個游戲規(guī)則的改變者！