人類的大腦具有學習新事物的能力，而且學習方式多種多樣，從模仿他人到觀看在線解說視頻，不一而足。如果機器人也能這樣做呢？2021 年 ACM 計算獎獲得者 Pieter Abbeel 的職業生涯一直在研究這個問題。

Pieter Abbeel 是 Covariant 的創始人之一。Covariant 是一家人工智能機器人公司，致力于構建一個通用的人工智能，使機器人能夠在現實世界中學習和操作，以協助人類完成繁重和勞累的任務，尤其是在倉儲和物流行業中。

Covariant 的創始人陳曦、Pieter Abbeel、段巖、張天浩（從左到右）

通過與倉儲公司的合作，Covariant 的核心技術「Covariant Brain」能夠接觸到大量現實生活中物體，從數百萬次的拾取任務中學習。Covariant Brain 能夠使機器人看、思考并行動。在學習過程中不僅學習既有動作，還通過學會如何學習（元學習）來抓取任何不熟悉的物品，無論形狀、大小或包裝如何。

最近，ACM 邀請到 Pieter Abbeel，聊一聊有關他的工作，以及那些他為更輕松「教」機器人學習而開發的技術。以下為機器之心對本次訪談進行了不改變原意的編譯與整理。

ACM：讓我們從深度強化學習和你開發的名為 「信賴域策略優化 」的方法開始。這種方法是如何工作的，你又是如何開發出來的？

Pieter Abbeel：過去，要把機器人放在某個地方，比如汽車廠或電子廠。這時你需要把機器人周圍的環境布置好，讓一切以完全相同的方式重復一遍又一遍。然后，用某種固定的動作序列對機器人進行編程，這樣就能完成任務了。這對于結構化的環境非常有效，但當在可預測性稍差的環境中，我們就無能為力了。

我一直認為，當機器人能夠適應不同環境時，就會發生重大變革。而要做到這一點，就意味著機器人必須具備學習能力。

ACM：那么如何讓機器人學習呢？

Pieter Abbeel：這是我取得博士學位之后一直在研究的問題。從根本上說，主要有兩種方法，它們相輔相成：一種是模仿學習或學徒學習，另一種是強化學習。

在模仿學習中，你告訴機器人該做什么，機器人就會從你的例子中學會做這件事。這很好，因為當你想讓機器人做某件事時，你通常較為準確地知道需要它做些什么。但挑戰在于，你需要給機器人提供大量的示例，這樣它才能在面對新場景時進行歸納總結，并完成任務。這可能會變得非常耗時，并且一旦環境發生變化，總會有一些內容超出你所給出例子的范圍。

ACM：強化學習是什么？

Pieter Abbeel：強化學習是關于試錯的。在這種方法中，不需要向機器人展示該做什么，機器人只是不斷嘗試，然后系統會告訴它是否成功。因此原則上，你需要先通過模仿學習向機器人展示該做什么，然后讓機器人不斷試錯，從而學習。

ACM：2012 年，ACM 圖靈獎獲得者 Geoff Hinton 證明，只要有足夠的視覺數據，深度神經網絡在訓練后就能表現出前所未有的模式識別能力。我想這啟發了你，使你的強化學習框架中的模式識別功能更加強大。

Pieter Abbeel：在強化學習中，機器人會自己做一些事情，但它仍然需要識別好的運行模式與差的運行模式有何不同。我和我的學生 John Schulman 開始嘗試使用深度神經網絡，看看能否改進強化學習算法中的模式識別器。但事實證明，強化學習算法比標準的監督學習要脆弱得多。在監督學習中，有一個輸入，輸出是一個標簽，你只需要識別模式。而在強化學習中，機器人需要在從未運行過的情況下學會運行。在這過程中，信號不多，噪音很大。

ACM：因此，你嘗試既要提高模式識別，又要讓算法更加穩定。

Pieter Abbeel：我們需要能夠保證機器人在持續改進。如果機器人觀察最近的經驗，它將更新模式識別器。而模式識別器是一種神經網絡策略，用于接收當前的傳感器輸入并生成電機指令。我們知道，如果能想出一種方法讓機器人在每一步都能持續改進，那么就有了利用這些龐大神經網絡進行強化學習的真正基礎。

ACM：這就是信賴域策略優化的作用所在了。

Pieter Abbeel：在傳統強化學習中，我們會進行一系列試驗，然后計算梯度，找出進步最大的方向。信賴域策略優化定義了一個信賴區域：一個我們知道可以信賴梯度的區域。梯度是 landscape 的一階線性近似值。我們知道 landscape 不是線性的，但在局部它能夠以這種方式近似為線性。因此，我和 John Schulman 想出了一種方法，來量化可以信賴這種線性近似的區域。接下來，我們只需在該區域內邁出一步，就能保證改進效果。

ACM：重復這樣做，你就為強化訓練打下了值得信賴的基礎。

Pieter Abbeel：沒錯！我們在 YouTube 上有一段視頻 ，你可以在視頻中看到整個過程。機器人只是不斷嘗試，不斷摔倒，但隨著時間的推移，它真的開始運行了。學習的妙處在于，一旦你有了學習算法，你就不需要重新編程，只需再次運行學習算法，它就能學會在新情況下需要什么。

視頻來源：https://bit.ly/3nZrQhs

ACM：你創立的公司 Covariant 正試圖通過制造一個通用的機器人大腦來商業化這個想法。

Pieter Abbeel：我們的目標是提出一種方法，使機器人能夠在學習什么以及如何學習方面通用。當然，機器人不能通過學習過操作堆樂高積木然后學會飛行，堆積木并不是學習飛行的正確數據集，但是代碼可以是相同的。就像人類學習如何騎自行車或駕駛汽車，在人腦中，思路都是一樣的。

ACM：Covariant 也在為商業應用構建機器人，特別是倉儲取放機器人。

Pieter Abbeel：我們可以賦予機器人超越預先編程的固定動作序列的新技能，即使它們不是完全通用的。從我們的學術研究中我們知道這是可能的，我們開始考慮創建 Covariant。我們想到，機器人現在應該具備有用性。另外，我們的產品開發是數據驅動的，如果想要收集大量的數據，則需要制造出真正能激發人們購買需要的機器人。

ACM：當你在 2017 年創建 Covariant 時，自動駕駛汽車獲得了大量的資金。是什么吸引了投入倉儲取放機器人？

Pieter Abbeel：我們希望找到一個領域，它不需要實時干預，而是在極少數情況下才需要人工支持。實時人工干預很昂貴，無法體現機器人做事的價值。使用機器人操作，你仍然需要非常高的精度，但一旦機器人沒有像預期的那樣運行，就會有人介入并進行快速修復。

我們研究了許多不同的公司、行業和應用，最后我們把目光集中在倉儲上，因為它似乎是一個自然而然的起點，原因有二。首先，取放是機器人幾乎所有操作的基礎。第二，這是一個快速發展的行業，真正需要自動化來支持我們所有的在線傳送。在拾取和放置過程中沒有自動化，這種非常重復的工作是對人類來說是很傷腦筋的。

ACM：你還與人共同教授一門關于 AI 業務的課程。你從向非專業人士教授 AI 中發現了什么？

Pieter Abbeel：我決定教授這門課程的原因之一是，我認為對 AI 的基本了解對做出商業決策很重要。許多公司將以某種方式使用 AI 人工智能，無論是在內部開發還是購買某種服務。商業專業的學生必須能夠理解今天可能發生的事情，以及在不久的將來可能發生的事情，以及如何評估不同的系統。

這很有趣，因為對于從未真正研究過 AI 的人來說，這有點像解釋一個魔術。就其核心而言，AI 是很好解釋的。如果你想把它推向下一個技術前沿，你需要大量的訓練，但理解基本概念并不需要多年的學習。