不用動作捕捉，只用一段視頻就能教會機器人學會人類動作，效果be like：

UC伯克利團隊研發出了一套新的機器人訓練系統，可將視頻動作遷移到真實機器人。

這個名為VideoMimic的新系統，已經讓宇樹G1機器人成功模仿了100多段人類動作。

VideoMimic的核心原理是從視頻當中提取姿態和點云數據，然后在模擬環境中訓練并最終遷移到實體機器人。

這項成果引起了網友們的一片哇聲，還有人聯想到了《加勒比海盜》中的杰克·斯帕羅，表示簡直就像裝上了一個Jack的API一樣。

適應各種地形，還會爬臺階

為了訓練機器人策略，研究團隊收集了一個包含123個視頻片段的數據集。

這些視頻由手持設備在日常環境中拍攝，涵蓋了不同的人體運動技能和場景。

在VideoMimic的訓練下，宇樹Go1已經學會了適應各種地形：

學會了跨越路肩：

而且學會了爬臺階，過程中還表演出了花式走位：

既然會上，當然也就能下：

并且在下樓梯的過程中，作者發現即使機器人的腳底發生較大滑動，訓練得到的策略也能夠快速做出反應并恢復平衡，從而避免跌倒。

除了以上各種行進動作之外，也會站起和坐下：

總之，作者的一系列實驗，證明了VideoMimic方法，能夠有效地通過視頻訓練機器人模仿人類動作。

那么，VideoMimic具體是如何工作的呢？

一段視頻訓練機器人

VideoMimic的核心是從單目視頻中重建人體運動和場景幾何，將其轉換為仿真環境中的參考運動，并通過強化學習訓練出一個單一的策略，使人形機器人能夠根據環境和指令執行對應的技能。

其工作流程主要包括視頻到仿真環境的轉換、仿真中的機器人控制策略訓練以及在真實機器人上的策略部署驗證三大步驟。

從視頻中構建仿真環境

第一步中，VideoMimic利用現有的人體姿態估計和場景重建方法，從輸入的單目RGB視頻中獲取每一幀的人體三維姿態（通過SMPL人體模型表示）和稠密場景點云。

為了解決人體軌跡與場景不完全一致的問題，VideoMimic還提出了一個聯合優化過程，同時優化人體軌跡、局部姿態以及場景點云尺度，最終在得到準確對齊的人體運動和場景幾何。

接下來，為使重建的場景能夠在物理仿真環境中使用，VideoMimic需要進一步處理場景點云，將原始的稠密點云轉換為具有一定拓撲結構的輕量級三角網格模型，以提高碰撞檢測和渲染效率。

最后是將視頻中的人體運動重定向到機器人模型：VideoMimic考慮了機器人的運動學結構差異，通過優化人形機器人各關節的旋轉角度，將人體運動中的末端位置映射到對應的機器人關節位置。

在仿真環境中訓練策略

在獲得視頻對應的參考運動軌跡和環境網格模型后，VideoMimic進入了機器人控制策略的仿真訓練階段。

這個階段的目標是訓練出一個單一的策略網絡，使其能夠克服視頻重建中的噪聲，根據環境感知做出對應的運動控制。

整個訓練過程分為四個漸進的階段：

• 第一階段是在大規模數據上進行策略預訓練，以掌握基本的運動控制能力，該階段只需要根據參考的關節角度、軀干朝向和位置等運動學信息進行控制；
• 第二階段引入從重建場景中采樣得到的高度圖作為策略的觀察輸入，使得策略能夠感知環境地形，根據當前環境做出決策；
• 第三階段使用Dataset Aggregation方法對策略進行蒸餾，得到一個不依賴完整參考運動，只依賴機器人軀干位置指令的新策略；
• 在第四個階段，VideoMimic在蒸餾后的策略基礎上進一步應用強化學習算法進行微調，使策略可以更好地適應觀察和環境的噪聲，提高其魯棒性。

經過上述四個階段的訓練，VideoMimic最終得到了一個泛化能力較強的控制策略。

這個策略只需要機器人自身的本體感受信息（如關節角度、角速度等）、局部高度圖以及期望軀干運動方向作為輸入，就可以輸出連續的低層控制指令。

這些指令驅動機器人執行行走、爬樓梯、坐下、站立等各種動作，為實際機器人部署做好了準備。

將策略遷移到實體機器人

VideoMimic選擇了宇樹Go1作為實物測試平臺，Go1是全身擁有12個自由度，其關節配置與仿真環境中的機器人模型相似。

同時，Go1還搭載了用于感知環境的深度相機和慣性測量單元（IMU）等傳感器，可以為控制策略提供必要的觀察信息。

在部署到實物機器人之前，研究團隊首先對Go1進行了一些基本設置。他們參考了MuJoCo仿真器中的機器人模型參數，對Go1的底層PD控制器進行了配置，使其與仿真環境保持一致。

在真實環境中，VideoMimic利用Go1自帶的深度相機獲取環境的三維幾何信息，結合彩色圖像SLAM算法，實時重建出以機器人為中心的局部環境三維點云。

最終，VideoMimic得到了一個覆蓋機器人周圍4平方米區域、分辨率為2.5厘米的高度圖，作為策略模型的環境觀察輸入。

除了環境信息外，Go1的關節編碼器和IMU也以200Hz的頻率提供了機器人關節角度、角速度、線加速度等本體感受信息。

VideoMimic直接將這些數據作為策略模型的輸入，用于估計機器人當前的姿態和運動狀態。

Go1搭載的嵌入式計算平臺，讓VideoMimic可以將訓練好的策略模型直接部署到機器人上進行實時推理。

研究團隊基于ROS機器人操作系統，利用C++實現了策略模型的前向推理和與機器人底層控制的通信。

策略模型以50Hz的頻率運行，與機器人控制的周期相匹配。在每個控制周期內，策略模型讀取當前的環境高度圖和機器人本體感受信息，輸出預測的機器人關節角度。

這些關節角度經過必要的平滑和限幅處理后，直接作為PD控制器的目標值，驅動機器人運動。

作者簡介

本項目論文的共同一作共有四位，均為UC伯克利博士生，其中包括一位華人。

Arthur Allshire，導師是強化學習大牛、吳恩達帶的第一屆博士Pieter Abbee，以及被李飛飛尊稱為“學術祖父”的Jitendra Malik。

Arthur的研究興趣為“智能軟件系統與物理世界的交互”，主攻機器人、計算機視覺和機器學習。

他本科畢業于多倫多大學，其間曾到蘇黎世聯邦理工學院訪學，以及在英偉達實習。

Hongsuk Choi，同樣是Jitendra Malik的學生，另一名導師是伯克利助理教授Angjoo Kanazawa。

Angjoo此前在伯克利從事博士后研究，期間的合作導師也包括Jitendra。

Hongsuk的研究興趣是生成先驗、3D計算機視覺和機器人技術。

他本科和碩士均畢業于首爾大學，2022年畢業后先后到NAVER和三星公司工作，去年開始到伯克利讀博。

華人作者章俊一（Junyi Zhang），導師是伯克利AI實驗室（BAIR）的聯合創始人Trevor Darrel教授。

章俊一的研究興趣為計算機視覺、深度生成模型和表示學習，現階段重點關注擴散模型的應用。

他去年本科畢業于上海交大，其間曾到微軟實習，并以本科生研究員身份與李永露助理教授合作研究，導師是盧策吾教授。

2023年起，章俊一還成為了DeepMind的合作研究者，至今仍與DeepMind的楊明玄（Ming-Hsuan Yang）、Deqing Sun等人保持合作。

David McAllister，研究興趣是計算機視覺、成像和數字創意有，導師為Angjoo Kanazawa。

David本科和碩士同樣就讀于UC伯克利，并且碩士期間的導師也是Angjoo。

去年夏天，David曾到英偉達投資的AI初創公司Luma實習，Luma推出了與公司同名的視頻生成模型。

除了四位共同一作和他們的導師之外，UC伯克利碩士生Anthony Zhang和博士生Chung Min Kim也參與了這一項目。

項目主頁：
https://www.videomimic.net/
論文地址：
https://arxiv.org/abs/2505.03729