arXiv論文“ViP3D: End-to-end Visual Trajectory Prediction via 3D Agent Queries“，22年8月2日上傳，清華、上海（姚）期智研究院、CMU、復旦、理想汽車和MIT等的聯合工作。

現有的自主駕駛流水線將感知模塊與預測模塊分開。這兩個模塊通過人工選擇的特征進行通信，如智體框和軌跡作為接口。由于這種分離，預測模塊僅從感知模塊接收部分信息。更糟糕的是，來自感知模塊的錯誤可能會傳播和累積，從而對預測結果產生不利影響。

這項工作提出ViP3D，一種視覺軌跡預測流水線，利用原始視頻的豐富信息預測場景中智體的未來軌跡。ViP3D在整個流水線中使用稀疏智體query，使其完全可微分和可解釋。此外，提出一種新的端到端視覺軌跡預測任務的評估指標，端到端預測精度（EPA，End-to-end Prediction Accuracy），其在綜合考慮感知和預測精度的同時，對預測軌跡與地面真實軌跡進行評分。

如圖是傳統多步級聯流水線與ViP3D的比較：傳統的流水線涉及多個不可微模塊，例如檢測、跟蹤和預測；ViP3D將多視圖視頻作為輸入，以端到端的方式生成預測軌跡，可有效利用視覺信息，比如車輛轉向信號。

ViP3D旨在以端到端的方式解決原始視頻的軌跡預測問題。具體而言，給定多視圖視頻和高清地圖，ViP3D預測場景中所有智體的未來軌跡。

ViP3D的總體流程如圖所示：首先，基于查詢的跟蹤器處理來自周圍攝像機的多視圖視頻，獲得有視覺特征所跟蹤智體的query。智體query中的視覺特征，捕獲智體的運動動力學和視覺特征，以及智體之間的關系。之后，軌跡預測器將跟蹤智體的query作為輸入，并與HD地圖特征相關聯，最后輸出預測的軌跡。

基于query的跟蹤器從環繞攝像機的原始視頻中提取視覺特征。具體而言，對于每一幀，按照DETR3D提取圖像特征。對于時域特征聚合，按照MOTR（“Motr: End-to-end multiple-object tracking with transformer“. arXiv 2105.03247, 2021）設計了一個基于query的跟蹤器，包括兩個關鍵步驟：query特征更新和query監督。智體query會隨時間更新，建模智體的運動動力學。

大多數現有的軌跡預測方法可分為三個部分：智體編碼、地圖編碼和軌跡解碼。在基于query的跟蹤之后，獲得被跟蹤智體的query，該query可以被視為通過智體編碼獲得的智體特征。因此，剩下的任務是地圖編碼和軌跡解碼。

分別將預測和真值智體表示為無序集S?和S，其中每個智體由當前時間步的智體坐標和K個可能的未來軌跡表示。對于每個智體類型c，計算Sc?和Sc之間的預測精度。將預測智體和真值智體之間的成本定義為：

這樣Sc?和Sc之間的EPA定義為：

實驗結果如下：

注：這個目標渲染做的不錯。