人們在日常生活中接觸到的大部分家具都是“關節物品” （articulated objects），比如帶有拉出式導軌的抽屜、帶有垂直旋轉軸的門、帶有水平旋轉軸的烤箱，因為這些物體的主要零件都是由各種各樣的關節連接而成。

由于這些關節的存在，被連接的物體的零件的各個部分在運動學上受到關節的約束，因此這些部分只有一個自由度（1 DoF）。這些物品在我們的生活中無處不在，尤其在日常家居中經常看見，是我們日常生活的重要組成部分。作為人類的我們我們看到無論什么樣的家具，我們都可以很快弄清楚如何操縱和控制它。好像我們知道這些物體的每個關節是如何移動的。

那么機器人可以像人類一樣預測家具的移動方式嗎？這種預測能力很難獲得，如果機器人可以學習這種能力的話，將是對家用機器人是一個巨大的推動。

最近，CMU 機器人學院 David Held 教授 R-PAD 實驗室的兩名學生 Ben Eisner 和 Harry Zhang 在操縱復雜的關節物體方面取得了突破，并推出了基于 3D 神經網絡的 FlowBot 3D，一種有效表達和預測關節物體部分運動軌跡的算法，例如日常家具。該算法包含兩個部分。

第一個部分是感知部分（perception），這個部分使用 3D 深度神經網絡從被操縱家具物體的點云數據（pointcloud data）中預測三維瞬時運動軌跡（3D Articulated Flow）。

算法的第二個部分是策略部分（policy），它使用預測得到的 3D Articulated Flow 來選擇機器人的下一個動作。兩者都在模擬器中完全學習，可以直接在現實世界中實現，無需重新訓練或調整。在 FlowBot 3D 算法的幫助下，機器人可以像人類一樣隨意操縱日常家具等關節物體。

這個論文目前是世界機器人頂級會議 Robotics Science and Systems (RSS) 2022 的最佳論文候選（top 3%)，并將會在 7 月于美國紐約展出，與其他 7 篇優秀文章一同角逐最佳論文的榮譽。

• 論文地址：https://arxiv.org/pdf/2205.04382.pdf
• 項目主頁：https://sites.google.com/view/articulated-flowbot-3d

FlowBot 3D 只依靠模擬器，在模擬數據中進行監督學習，從而學習日常家具等關節物體零件的瞬時運動軌跡（3D Articulated Flow）。3D Articulated Flow 是一種 可視的點云軌跡表示方法，可大大簡化機器人下一步策略的復雜性從而提高泛化性和效率。機器人只需通過緊跟這個瞬間軌跡，并在一個閉環中，重新預測這個軌跡，就能完成操縱關節物體的任務。

此前，學術界常規的操作家具等關節物體的方法，是通過被操作對象的幾何特性（例如連接零件的位置和方向）來推算出零件的運動方向，或者是通過模仿專家策略（通常來自人類）來學習特定對象的操作，從而完成關節物體操作的復雜動作。這些學術界的傳統方法都沒有很好的泛化性，而且利用數據的效率較低，訓練需要收集大量的人類演示數據。與這些不同的是，FlowBot 3D 是第一個純粹基于模擬器學習不需要人類提供任何演示數據，并且該算法允許機器人通過學習每個零件的瞬時運動軌跡來計算最佳的物體操縱路徑，因此該算法擁有很大的泛化性。正是此特性可以讓 FlowBot 3D 泛化到到模擬器訓練期間不可見的對象，直接在現實世界中成功地操縱真實的日常家具物品。

下面幾張動圖演示了 FlowBot 3D 的操縱過程。左邊是操縱的視頻，右邊是所預測的點云瞬時運動軌跡 3D Articulated Flow。FlowBot 3D 算法先使機器人識別物體上的哪個零件可以被操縱，然后預測該零件運動的方向。

開動冰箱門：

開動馬桶蓋：

開動抽屜：

此論文的審稿人說：總體來說，這篇論文是對機器人操控學的可觀貢獻。

那么，FlowBot 3D 是如何學習這個技能的？

人類在見到一個新的家具物品的時候，比如一扇門，我們知道這個門是通過一個門軸來旋轉的，并且我們知道門軸的約束使這個門只能向一個方向旋轉，于是我們便可以去跟隨我們腦里想象的方向去開這個門。所以，想要機器人真正靈巧且有效的預測家具等關節物體的操縱方式和運動軌跡，一個有效的方法是讓機器人去理解這些零件的運動學約束（kinematic constraint），從而可以去預測這些物體的運動軌跡。

FlowBot 3D 的具體方法并不復雜，并且只依靠模擬器，無需繁雜的真實人類數據。另外，模擬器的另外一個好處是在模擬器中，這些家用物體的 3D 數據文件 (URDF) 中包含每個零件的運動學約束和約束的具體參數，所以每個零件的運動軌跡在模擬器中可以準確計算出來。

FlowBot 3D 的兩個模塊。

模擬器訓練中，機器人觀測到被操縱物體的三維點云數據，作為機器人視覺模塊的輸入數據。視覺模塊（perception module）利用 PointNet++ 來預測在外力作用下，輸入點云中的每個點的瞬時（比如抽屜拉開 1cm 之后，門向外開 5 度）運動軌跡 3D articulated flow，用三維坐標向量差的形式表達出來。這個運動軌跡的實際數據可以通過正向運動學準確計算出來。通過下一步三維向量坐標減去當前的三維向量坐標，可以得到被操縱物體部分的運動軌跡。因此，在訓練時，只需要最小化預測的 3D Articulated flow 的 L2 loss 來進行監督學習。

在這個圖里，藍色的點是被觀測的點云數據，紅色的箭頭就代表預測出門面的運動軌跡 3D Articulated Flow。

通過這種方式學習，FlowBot 3D 可以學習到在運動學約束下每個零件的運動方向以及該零件上每個點在受力相同的情況下運動的相對速度和相對方向（velocity）。常見的家用關節物品為抽動式（prismatic）和旋轉式（revolute）兩種。對于抽動式零件，比如抽屜，在抽屜面上的每個點收到相同外力下的運動方向和速度是相同的。對于旋轉式零件，比如門，在門面上的每個點收到相同外力下的運動方向是相同的，但是速度卻是離旋轉軸越遠越大。研究者用機器人學中的物理定律（screw theory）證明了長度最長的 3D Articulated Flow 可以最大化物體的加速度。根據牛頓第二定律，這一策略是最優解。

基于理論基礎，在實際操作中，機器人需要做的，就是通過 FlowBot 3D 的視覺模塊預測出每個點的運動軌跡，在每點軌跡中，找到長度最長的 3D articulated flow 方向所對應的點作為操縱點，并閉環預測這個操縱點的運動軌跡。假如被選中的操縱點無法被成功抓取（比如表面不符合機器手的抓取條件），那么 FlowBot 3D 會選擇長度第二長并可以符合抓取條件的點。

另外，由于 PointNet ++ 的特性，FlowBot 3D 預測每點的運動軌跡，并不依賴于物體本身的幾何特性，它對機器人對物體可能的遮擋有較強的魯棒性。另外，由于此算法是閉環的，機器人可以在下一步的預測中對自己這一步可能的錯誤進行修正。

FlowBot 3D 在真實世界中的表現FlowBot 3D 在真實世界中有能力去克服泛化性的挑戰。FlowBot 3D 的設計理念在于，只要其可以準確預測出被操縱物體的運動軌跡 3D articulated flow，那么下一步就是跟隨這個軌跡來完成任務。

另外很重要的一點是，FlowBot 3D 利用單個訓練模型去操縱多個類別的物品，包括訓練中沒有見過的類別。并且在真實世界中，機器人只需要使用這個純模擬器訓練獲得的模型就可以操控多種真實物體。因此，在真實世界中，由于家用物品的運動學約束絕大多數與模擬器中無異，FlowBot 3D 可以直接泛化到真實世界中。

FlowBot3D 在真實世界實驗所用到的家用物品（包括垃圾桶，冰箱，馬桶蓋，盒子，保險箱等。

在模擬器中，機器人使用部分類別的家用物品進行訓練，包括訂書機，垃圾箱，抽屜，窗戶，冰箱等。在模擬器和真實世界的測試中，測試數據來自于訓練類別的新物體和訓練時并沒有見過的類別。

FlowBot 3D 在模擬器中的操縱任務。

相比較而言，學術界中常見的基于模仿學習的方法需要人工指導才會學習新型物體的操控方式，使得這些機器人在現實世界中，尤其是家用機器人場景中落地不現實。另外，3D 點云數據強于其他方法所使用的 2D RGB 數據，因為點云可以允許機器人去理解每個關節和關節之間的關系，從而能夠更高層的理解和預測零件的運動軌跡，極大增強泛化性。

實驗結果顯示，FlowBot 3D 在操作多數物體（無論是訓練時見過還是沒見過的類別）時都能將對 “全開” 的距離達到 10% 以下，成功嶺可以達到 90% 以上。相比之下，其他基于模仿學習(DAgger) 或者強化學習 (SAC) 的方法差了很遠，并且缺少泛化性。

總之，FlowBot 3D 是一個潛力很大的工作。它可以在無需微調的前提下完成現實世界中高效部署。這項工作還表明，計算機視覺的進步可以改變機器人領域，尤其是這種可視的運動軌跡表達方式 3D articulated flow，它將可以被應用到多個任務中，來簡化機器人策略選擇和決策過程。有了這種可泛化的表達方式，模擬器學習的方法將有潛力去在直接部署到真實世界里，這將大大降低未來家用機器人訓練和學習的成本。

FlowBot 3D 的下一步計劃目前，課題組正在嘗試將 flow 這種理解預測方式應用到關節物體以外的物體上面，比如如何用 flow 預測 6 自由度的物體軌跡。同時，作者在嘗試將 flow 作為一種通用視覺表達方式，從而應用到其他機器人學習任務中，比如強化學習，從而增加學習效率，魯棒性，以及可泛化性。

David Held 副教授的主頁：https://davheld.github.io/Ben Eisner 的主頁：https://beisner.me/Harry Zhang 的主頁：https://harryzhangog.github.io/