端到端沒有數據怎么辦?ActiveAD:面向規劃的端到端自動駕駛主動學習!
本文經自動駕駛之心公眾號授權轉載,轉載請聯系出處。
自動駕駛的端到端可微學習最近已成為一種突出的范式。一個主要瓶頸在于其對高質量標記數據的巨大需求,例如3D框和語義分割,這些數據的手動注釋成本是出了名的昂貴。由于AD中樣本內的行為往往存在長尾分布這一突出事實,這一困難更加明顯。換言之,收集到的大部分數據可能微不足道(例如,在筆直的道路上向前行駛),只有少數情況是安全關鍵的。在本文中,我們探討了一個實際重要但未被充分探索的問題,即如何實現端到端AD的樣本和標簽效率。
具體而言,論文設計了一種面向規劃的主動學習方法,該方法根據所提出的規劃路線的多樣性和有用性標準,逐步注釋部分收集的原始數據。經驗上,提出的計劃導向方法可以在很大程度上優于一般的主動學習方法。值得注意的是,方法僅使用30%的nuScenes數據,就實現了與最先進的端到端AD方法相當的性能。希望我們的工作能夠激勵未來的工作,從以數據為中心的角度,除了方法論方面的努力之外。
論文鏈接:https://arxiv.org/pdf/2403.02877.pdf
本文的主要貢獻:
- 第一個深入研究E2E-AD的數據問題的人。還提供了一個簡單而有效的解決方案,可以在有限的預算內識別和注釋有價值的數據,用于規劃。
- 基于端到端方法的面向規劃的哲學,為規劃路線設計了新的特定任務的多樣性和不確定性測量。
- 大量的實驗和消融研究證明了方法的有效性。ActiveAD在很大程度上優于一般的對等方法,并且僅使用30%的nuScenes數據,實現了與具有完整標簽的SOTA方法相當的性能。
方法介紹
在端到端AD框架內提供了ActiveAD的詳細描述。利用AD特有的數據特征,設計了相應的多樣性和不確定性指標。
1)標簽的初始樣本選擇
對于計算機視覺中的主動學習,初始樣本選擇通常僅基于原始圖像,而沒有額外的信息或學習到的特征,這導致了隨機初始化的常見做法。對于AD,還有其他先前的信息可供利用。具體來說,當從傳感器收集數據時,可以同時記錄傳統信息,如自車的速度和軌跡。此外,天氣和照明條件通常是連續的,并且易于在片段級別中進行注釋。這些信息有利于為初始集合選擇做出明智的選擇。因此,我們為初始選擇設計了自我多樣性度量。
Ego Diversity:由三個部分組成:1)天氣照明2)駕駛指令3)平均速度。首先使用nuScenes中的描述,將完整的數據集劃分為四個互斥子集:Day Sunny(DS)、Day Rainy(DR)、Night Sunny(NS)、NightRainy(NR)。其次,根據一個完整片段中左、右和直行駕駛命令的數量將每個子集分為四類:左轉(L)、右轉(R)、超車(O)、直行(S)。論文設計了一個閾值τc,其中如果剪輯中左右命令的數量都大于或等于閾值τc時,我們將其視為該剪輯中的超越行為。如果只有向左命令的數量大于閾值τc,則表示左轉。如果只有向右命令的數量大于閾值τc,則表示向右轉彎。所有其它情況都被認為是直接的。第三,計算每個場景中的平均速度,并在相關的子集中按升序對它們進行排序。
圖2給出了基于多路樹的初始選擇過程的詳細直觀過程。
2)增量選擇的準則設計
在本節將介紹如何基于使用已注釋片段訓練的模型,對片段的新部分進行增量注釋。我們將使用中間模型對未標記的片段進行推理,隨后的選擇基于這些輸出。盡管如此,還是采取了面向規劃的觀點,并介紹了后續數據選擇的三個標準:位移誤差、軟碰撞和代理不確定性。
標準一:位移誤差(DE)。將表示為模型的預測規劃路線τ與數據集中記錄的人類軌跡τ*之間的距離。
其中T表示場景中的幀。由于位移誤差本身是一個性能指標(無需注釋),因此它自然成為主動選擇中的第一個也是最關鍵的標準。
標準二:軟碰撞(SC)。將LSC定義為預測的自車軌跡和預測的agent軌跡之間的距離。將通過閾值ε過濾掉低置信度agent預測。在每個場景中,選擇最短距離作為危險系數的度量。同時,在term和最近距離之間保持正相關:
使用“軟碰撞”作為一個標準,因為:一方面,與“置換誤差”不同,“碰撞比率”的計算取決于目標的3D框的注釋,而這些注釋在未標記的數據中不可用。因此,應該能夠僅根據模型的推理結果來計算標準。另一方面,考慮一個硬碰撞標準:如果預測的自車軌跡會與其他預測的agent的軌跡發生碰撞,將其指定為1,否則指定為0。然而,這可能會導致標簽為1的樣本太少,因為AD中最先進模型的碰撞率通常很小(低于1%)。因此,選擇使用與其他對目標最近的距離來代替“碰撞率”度量。當與其他車輛或行人的距離太近時,風險被認為要高得多。簡言之,“軟碰撞”是衡量碰撞可能性的有效指標,可以提供密集的監督。
標準III:agent不確定性(AU)。對周圍agent的未來軌跡的預測自然具有不確定性,因此運動預測模塊通常會生成多個模態和相應的置信度得分。我們的目標是選擇那些附近agent具有高度不確定性的數據。具體來說,通過距離閾值δ過濾出遙遠的主體,并計算剩余主體的多種模式的預測概率的加權熵。假設模態的數量是,并且agent在不同模態下的置信度得分是Pi(a),其中i∈{1,…,Nm}。然后,Agent不確定性可以定義為:
Overall Loss:
3)整體主動學習范式
Alg1介紹了方法的整個工作流程。給定可用預算B、初始選擇大小n0、在每個步驟中進行的活動選擇的數量ni以及總共M個選擇階段。首先使用上述描述的隨機化或自車多樣性方法初始化選擇。然后,使用當前注釋的數據來訓練網絡。基于訓練的網絡,我們對未標記的進行預測,并計算總損失。最后根據總體損失對樣本進行排序,并選擇當前迭代中要注釋的前ni個樣本。重復這個過程,直到迭代達到上限M,并且所選擇的樣本數量達到上限B。
實驗結果
在廣泛使用的nuScenes數據集上進行了實驗。所有實驗都使用PyTorch實現,并在RTX 3090和A100 GPU上運行。
表1:規劃表現。ActiveAD在所有注釋budget設置中都優于一般的主動學習基線。此外,與使用整個數據集進行訓練相比,具有30%數據的ActiveAD實現了略好的規劃性能。帶有*的VAD表明已經更新了結果,這些結果比原始工作中報告的結果要好。帶有?的UniAD表明已使用VAD的指標來更新結果。
表2:設計消融實驗。“RA”和“ED”表示基于隨機性和自車多樣性的初始集選擇。“DE”、“SC”和“AU”表示位移誤差, 分別為軟碰撞和agent不確定性。所有帶“ED”的組合都使用相同的10%數據進行初始化。LDE、LSC和LAU分別歸一化為[0,1],將超參數α和β設置為1。
圖3:所選場景可視化。根據選擇的前置攝像頭圖像基于在10%數據上訓練的模型的位移誤差(col 1)、軟碰撞(col 2)、agent不確定性(col 3)和混合(col 4)標準。Mixed代表了我們的最終選擇策略ActiveAD,并考慮了前三種情況!
表4,各種場景下的性能。在各種天氣/照明和駕駛命令條件下,使用30%數據的活動模型的平均L2(m)/平均碰撞率(%)越小,性能越好。
圖4:多個標準之間的相似性。它顯示了 通過四個標準選擇10%(左)和20%(右)的新采樣場景:位移誤差(DE)、軟碰撞(SC)、代理不確定性(AU)和混合(MX)
本工作的一些結論
為了解決端到端自動駕駛數據標注的高成本和長尾問題,率先開發了量身定制的主動學習方案ActiveAD。ActiveAD基于面向規劃的哲學,引入了新的任務特定的多樣性和不確定性度量。大量實驗證明了方法的有效性,僅使用30%的數據,就顯著超過了一般的往期方法,并實現了與最先進模型相當的性能。這代表著從以數據為中心的角度對端到端自動駕駛的一次有意義的探索,并希望我們的工作能夠啟發未來的研究和發現。