Waymo與谷歌提出TNT模型，實現自動駕駛多軌跡行為預測
導讀：Waymo 近期宣布在鳳凰城地區開放沒有安全員的無人駕駛出租車，實現首個商用的真正的無人駕駛。與此同時，Waymo 也公開分享了一系列新的研究論文，本文就來講解一下 Waymo 在行為預測方面的研究成果。
周圍的車輛和行人在接下來數秒中會做什么？要實現安全的自動駕駛，這是一個必須回答的關鍵問題，這也就是自動駕駛領域中的行為預測問題。
行為預測的難點在于周圍行人、車輛的不確定性和各種規則之外的行為。這些狀況難以用規則進行總結，因此最近研發人員們開始利用基于數據驅動的深度學習的方法，以達到更加合理的預測效果。
在這方面，來自 Waymo 和谷歌的團隊提出了一系列用于自動駕駛行為預測的模型，讓無人車理解抽象的道路環境，并實現對車輛、行人的多可能性預測。
在今年 6 月的一篇 CVPR 論文中，這個團隊首先提出了一個全新模型 VectorNet。
在該模型中，團隊首次提出了一種抽象化認識周圍環境信息的做法：用向量（vector）來簡化地表達地圖信息和移動物體，這一做法拋開了傳統的用圖片渲染的方式，達到了降低數據量、計算量的效果。Waymo 也在其博客文章中明確表示，該技術提高了其行為預測的精準度。
近日，這個團隊公布了進一步的工作，提出了 TNT (Target-driveN Trajectory Predictio)。TNT 是一種目的地引導的軌跡預測方法，運用了監督學習的方法對車輛和行人進行多軌跡回歸，最終的模型能夠輸出多個未來軌跡的預測，同時明確指出各個軌跡可能性。
論文中介紹，TNT 在公開數據集 Argoverse 的測試表現與冠軍結果相當，同時在 INTERACTION、Stanford Drone，以及 Waymo 內部數據集中取得了非常好的效果。
目前該論文已經被國際機器人學習會議 CoRL（Conference on Robot Learning）接收。
預測多種可能的未來情形
Waymo 在博客中指出，VectorNet 突破性地提出了用向量的方式來抽象化表達這個世界，從而感知、理解周圍環境。在理解環境以后，下一步就是實現更好的行為預測。
自動駕駛行為預測和其他問題不一樣的地方在于，周圍的車輛、行人在接下來數秒時間里有多種行進的可能性。這些可能性本身也將影響自動駕駛車輛的決策規劃。
比方說，如果機器能算出：前方車輛有 80% 的概率左轉、20% 的概率右轉，自動駕駛車輛都能根據這一結果進行更好的決策規劃。同時對機器來說，就算別的車輛只有 1% 的可能性右轉，這種可能性也不能被忽視。
而這種針對多種可能性的多軌跡預測，有著很大的技術難度。當下的神經網絡難以很好應對多軌跡預測的任務。
據業內人士介紹，神經網絡擅長于一對一和多對一的擬合問題，而非一對多的問題。多對一如常見的分類問題，輸入多張車輛的照片，神經網絡能準確識別這些照片為 “車” 的類別。一對一如常見的回歸問題，輸入一張車輛的照片，神經網絡能估計它的長寬高等尺寸。但如果輸入一個樣本，想讓神經網絡回歸出三個結果，這是神經網絡所不擅長的事情。
據介紹，現在市面上基礎的方案是基于交通規則獲得周圍車輛、行人的行進可能性。如果交規允許這條道路直行、左右轉，那么就算三種可能性。但這種方式的預測結果并不完全可靠，因為規則之外的案例并未被考慮其中，如借道，違法掉頭，事實上，要保障自動駕駛長時間運行下的安全性，應對規則之外的情形的能力非常重要。
近兩年的論文內容顯示，很多團隊正在嘗試使用生成模型來進行多軌跡預測。即利用如 GAN，VAE 等模型在隱空間 latent space 進行采樣，得到周圍目標在特定場景下的多種潛在選擇。
但依靠生成模型的問題在于，樣本采集存在很大的隨機性，這對一個要求可靠的系統來說是難以接受的。假設前方來車左拐的可能性有 90%，右拐的可能性有 10%，用采樣的方法很有可能我們采樣三次得到的都是左拐，而忽略了它往右拐的可能性。在自動駕駛領域，依靠這種方式的行為預測難以進行實際應用。
用監督學習實現精準預測
該團隊提出的 TNT 首次運用了監督學習的方法對車輛和行人進行多軌跡預測，是一種目的地引導的軌跡預測方法。其模型的最大貢獻，就是能夠不依靠采樣，純靠監督學習來進行多軌跡的行為預測。
具體來說，該模型的行為預測按順序分為三步，每一步都有著特定目標：1、利用地圖的先驗信息，離散化并預測目的地；2、在預測目的地基礎之上，進一步預測目標的運行軌跡；3、在預測出多條運行軌跡當中，對每條軌跡進行篩選和打分，預測出各個選擇的可能性，也同時選擇出可能性最高的幾個運行軌跡。
在技術層面，運用監督學習的好處在于能夠讓最終的模型給出多個未來軌跡的預測，同時明確指出各個軌跡可能性。比如在輸出三個軌跡的情況下，模型能夠明確指出，30% 可能性左轉、30% 可能性右轉，直行的可能性為 40%。這樣的預測結果就能真正地被決策系統所使用。
在最終的表現上，單個 TNT 模型的行為預測準確性在公開數據集 Argoverse 的測試表現與冠軍結果相當，同時在 INTERACTION、Stanford Drone 等測試中取得了非常好的效果。
圖｜論文作者團隊，左至右分別為趙行、高繼揚、孫晨
論文核心作者來自 Waymo 和谷歌。其中，趙行是 Waymo 研究科學家，本科畢業于浙江大學，在麻省理工學院獲得博士學位；高繼揚目前是 Waymo 的高級工程師，本科畢業于清華大學，后在美國南加州大學獲博士學位；孫晨本科同樣就讀于清華大學，后博士畢業于南加州大學，目前在谷歌任研究科學家。
