第一作者李文軒目前就讀于國防科技大學計算機學院，碩士二年級，導師為徐凱教授，研究方向包括世界模型、可微物理仿真等。共同第一作者趙航，現為武漢大學計算機學院博士后，博士期間導師為徐凱教授，研究方向為工業具身智能。本文通信作者為深圳大學胡瑞珍教授與國防科技大學徐凱教授。

在機器人操作中，物體運動往往涉及摩擦、碰撞等復雜物理機制。準確的物理屬性描述可以實現對物體運動結果更準確的預測，并提升機器人在操作技能學習中的表現。

然而，一般用于訓練機器人操作策略的仿真交互環境，其物理屬性與真實環境往往存在明顯差異且難以校準，機器人控制策略的虛擬到現實遷移（Sim2Real）一直是困擾社區的問題。

為解決上述問題，國防科大、深圳大學、武漢大學團隊提出 PIN-WM（Physics-INformed World Models）——一種物理驅動的世界模型。

• 論文標題：PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation
• 論文地址：https://arxiv.org/abs/2504.16693
• 項目主頁：https://pinwm.github.io

基于可微物理和可微渲染，PIN-WM 以真實世界運動結果為監督信號，可以從視覺觀測中直接辨識剛體物理屬性。由于可微物理提供了物理系統的動力學基礎描述和有效的梯度引導，PIN-WM 僅需少量且任務無關的交互軌跡進行學習，隨后可以基于未見「狀態-動作對」實現對下一時刻狀態的良好泛化估計。

進一步，團隊提出物理感知的數字表親 PADC（Physics-Aware Digital Cousins），在辨識參數附近局部擾動，生成具有近似且多樣視覺和物理特性的世界模型變體，以建模未被觀測的潛在偏差，進一步提高策略學習的魯棒性。

基于 PIN-WM 和 PADC，團隊在世界模型中訓練非抓取式操作技能，無需策略微調即可直接實現操作技能的 Sim2Real 遷移。

論文創新點

• 一種物理驅動的世界模型：使用可微仿真和可微渲染技術從視覺觀測中直接辨識剛體的物理參數。
• 一種物理感知的數字表親：在辨識參數附近進行小范圍擾動，生成多組具有近似且多樣視覺和物理特性的世界模型變體，以應對未建模誤差，提升策略在真實環境中的魯棒性。

圖 1：PIN-WM 僅需少量任務無關交互軌跡辨識物理屬性，以支持機器人操作技能學習與 Sim2Real 遷移

技術路線

該團隊提出一種從現實到虛擬再到現實的框架，以學習非抓取操作相關的技能策略。該框架可分為兩大階段：系統辨識和策略訓練。

• 從現實到仿真（Real2Sim）：系統辨識

• 渲染屬性估計：收集物體的多視角圖片，并計算 Rendering loss，然后使用 2DGS 對其渲染參數進行優化。 
• 物理屬性估計：收集機器人與物體的交互視頻，同樣基于 Rendering loss，使用 2DGS 和可微 LCP 傳播梯度，從而對物理參數進行優化（此時固定渲染參數）。

• 從仿真到現實（Sim2Real）：策略訓練與部署 

• 結合數字表親學習策略：在辨識參數附近進行小范圍擾動，生成多組具有視覺和物理特性差異的世界模型變體，并在此基礎上訓練策略。
• 策略部署：將世界模型中學習到的策略部署到真實場景中，完成虛擬到現實遷移。

圖 2：Real2Sim2Real 框架用于學習非抓取操作策略

實驗結果

「推」（Push）和「翻轉」（Flip）作為經典的非抓取式任務，對摩擦、碰撞等復雜物理機制非常敏感。PIN-WM 在這兩項代表性任務上進行實驗評估：「推」指通過推的方式將平面上的物體移動到目標姿態，「翻轉」指通過戳的方式將物體翻轉（圖 3）。通過統計各方法在兩項任務中的成功率及完成步數，對其性能進行對比評估。

圖 3：仿真場景中「推」和「翻轉」任務軌跡

在仿真實驗方面，PIN-WM 分別與數據驅動的方法、預設物理參數的方法和辨識物理參數的方法進行對比。團隊在更具挑戰性的低摩擦場景下學習世界模型以及機器人操作策略，物理參數估計誤差造成的機器人操作失準會在低摩擦的場景下被進一步放大，導致任務失敗。

實驗結果說明：數據驅動方法（Dreamer，Diffusion Policy）在已使用更多交互數據的情況下泛化能力依然不足，策略測試性能欠佳；預設物理參數方法（RoboGSim、Domain Randomization）底層動力學與真實物理有明顯差異，而其他辨識物理參數的方法依賴簡化的物理模型（2D Physics）或者缺少梯度引導（ASID），動力學的擬合效果相對較差，失準的動力學建模導致策略表現依然欠佳；在可微物理梯度引導下，PIN-WM 能夠實現更準確的物理參數辨識，在「推」和「翻轉」兩項非抓取式操作任務上的策略表現均明顯優于其他方法（表 1）。

表 1：仿真場景中的非抓取策略性能對比

在真機實驗方面，PIN-WM 同樣與上述主要基線對比，在真實場景「推」和「翻轉」兩項任務上的性能優勢得到驗證（表 2）。

表 2：真實場景中的非抓取策略性能對比

圖 4 展示了真實場景中不同方法執行「推」任務時的軌跡對比圖。

圖 4：真實場景中不同方法執行「推」任務時的軌跡對比

圖 5 展示了真實場景中不同方法執行「翻轉」任務時的軌跡對比圖。

圖 5：真實場景中不同方法執行「翻轉」任務時的軌跡對比

PIN-WM 執行系統辨識后，在光滑玻璃平面上「推」T 形物體的測試結果，機器人可以準確地將物體推入目標位置。

未執行系統辨識時，策略在光滑玻璃平面上「推」T 形物體，機器人在目標位置反復嘗試，始終無法將物體正確推入目標位置。

PIN-WM 執行系統辨識后，在光滑玻璃平面上「推」正方體的測試結果。正方體的質量和體積更小，機器人操作更加困難，而 PIN-WM 訓練出的策略能夠準確完成任務。

未執行系統辨識時，策略在光滑玻璃平面上「推」正方體，無法將正方體正確推入目標位置。

PIN-WM 執行系統辨識后，在粗糙平面上「戳」正方體使其翻轉。

未執行系統辨識時，在粗糙平面上「戳」正方體，正方體輕微抬升，卻始終無法有效翻轉。

PIN-WM 執行系統辨識后，在粗糙平面上「推」任務的測試結果（軌跡 1）。

PIN-WM 執行系統辨識后，在粗糙平面上「推」任務的測試結果（軌跡 2）。

在更大尺寸物體上驗證 PIN-WM 的有效性，執行系統辨識后，在粗糙平面上「推」T 形物體的測試結果（軌跡 1）。

PIN-WM 執行系統辨識后，在粗糙平面上「推」更大尺寸 T 形物體的測試結果（軌跡 2）。

總結

國防科大、深圳大學、武漢大學團隊提出了一種物理驅動的世界模型 PIN-WM（Physics-INformed World Models），可以從視覺觀測（少量且任務無關的交互軌跡）中辨識剛體的物理屬性。

同時，團隊提出具備物理感知的數字表親 PADC（Physics-Aware Digital Cousins），在辨識參數附近進行局部擾動以建模潛在的偏差，從而進一步提高虛擬到現實的遷移性能。團隊通過廣泛的實驗證明了 PIN-WM 的有效性，其提出的方法有效提升了非抓握式操作技能從仿真到現實遷移的性能。