更真實的協同感知!EI-Drive:協同感知和融合通信特征的智駕平臺
本文對EI-Drive: A Platform for Cooperative Perception with Realistic Communication Models進行介紹,EI-Drive將協同感知和通信延遲與誤差融合,打造了一個更貼近車間通信(V2V Communication)真實部署環境的自動駕駛平臺,為抗通信干擾的相關自動駕駛算法提供了測試和訓練的平臺。
項目詳情:https://ucd-dare.github.io/eidrive.github.io/
開源代碼:https://github.com/ucd-dare/EI-Drive
論文鏈接:https://arxiv.org/abs/2412.09782
研究動機
隨著自動駕駛領域的不斷發展,協同感知(Cooperative perception)得到了越來越多的關注,它使多個車輛或RSU能夠共享傳感器數據,從而增強其對環境的感知。這種方法對克服傳感器遮擋、視野受限以及噪聲等限制尤為重要,這些限制可能導致障礙物的遺漏或決策上的致命錯誤。
現有的一些自動駕駛平臺已經具備協同感知相關功能,并實現了其與仿真環境的交互。然而,當前相關測試平臺的一個主要局限在于其采用了不現實的通信模型。由于協同感知高度依賴于單位之間的通信,通信過程對車輛感知的質量起著至關重要的作用。諸如傳輸延遲和錯誤等關鍵因素可能對實時決策產生負面影響,從而大大降低整體性能。遺憾的是,大多數現有研究并未考慮到協同感知中的傳輸延遲和錯誤,而這些在現實世界的車間通信中卻是不可避免的。
EI-Drive框架
論文貢獻
為了在真實通信條件下評估協同感知及其他自動駕駛算法的性能和魯棒性,我們開發了 EI-Drive 仿真平臺,將現實的通信模型集成到平臺設計中。EI-Drive 融合了若干項功能,以克服現有自動駕駛仿真平臺的局限性。本文的主要貢獻總結如下:
EI-Drive 集成了現實的通信模型: EI-Drive在協同感知中集成了現實的通信模型。這使得多個智能體(如車輛和 RSU)能夠共享和融合傳感器數據,在復雜駕駛環境中顯著增強其態勢感知能力。包含傳輸延遲和錯誤的通信模型準確地再現了自動駕駛車輛在真實網絡條件下面臨的環境,提升了測試的魯棒性和可靠性。
內置多智能體測試場景: EI-Drive 內置包含復雜交通和多變網絡條件的場景,具有較強的對多智能體動態環境的仿真能力。這些內置場景結合了world scripts和 EIScenarios,專為探索智能體之間的交互和不同功能(如協同感知和通信模型)而設計,用于在復雜動態環境中對自動駕駛算法進行測試。
在傳輸延遲和錯誤條件下對協同感知進行實驗: 基于內置場景,我們在現實的通信模型下對協同感知進行了實驗研究。結果表明,傳輸延遲和錯誤對協同感知性能及車輛行為產生了顯著影響。此外,這些實驗突出了 EI-Drive 作為強大工具的能力,能夠有效模擬通信模型與自動駕駛系統之間的復雜交互。
實驗結果
1)基于規則的自動駕駛
EI-Drive包含一個較為簡單的基于規則的自動駕駛算法,以實現車輛的自主尋路、識別、避障。該算法將成為后續更復雜實驗的基礎。我們設計了四種不同的任務,包括超車、跟車、紅綠燈和停車標志,以展示該自動駕駛算法的基本能力。在所有場景中,自車(ego vehicle)采用多模態輸入,并采用多種感知方法。
多模態傳感器:展示了自車在每個場景中利用多模態傳感器的行為。在超車場景中,自車成功連續超越前方兩輛車,確保換道安全且無碰撞。在跟車場景中,自車以安全距離跟隨前方車輛。在紅綠燈場景中,自車能夠正確識別紅綠燈并通過路口。在停車標志場景中,自車在停車標志前停車,然后繼續前進。實驗表明,自車能夠識別環境中的目標并作出正確響應,確保軌跡規劃和運動控制的安全性與流暢性。
感知方法:為了進一步細化感知模塊中的目標檢測方法,我們在超車和跟車場景中測試了內置的感知方法。實驗利用了內置的 Oracle、YOLOv5 和 SSD 算法,對自車攝像頭圖像進行目標檢測。如圖所示,這些方法能夠準確檢測車輛并可視化邊界框。
2)碰撞規避任務
為了更好地突出協同感知擴展自車感知能力并提高安全性的作用,我們設計了基于碰撞規避任務的實驗。在該實驗中,自車需要通過一個沒有紅綠燈的路口,而一輛被消防車遮擋的左側來車可能引發潛在碰撞。為了避免碰撞,協同感知從觀測車輛或 RSU(路側單元)提供有關這輛隱藏車輛的額外信息,幫助自車做出正確決策。
在上圖中,我們研究了協同感知、傳輸延遲和傳輸錯誤的影響。在此實驗中,我們將延遲和錯誤率分別設置為 0.3 秒和 30%。如圖所示,僅當啟用了協同感知時,才能可視化消防車后方來車的邊界框。然而,在未啟用協同感知的情況下,自車只能在來車從消防車后方進入其視野時才檢測到,而此時自車已無法及時剎車。圖中的第三行和第四行則突出顯示了傳輸延遲和錯誤的影響,分別導致邊界框位置偏離真實位置和部分邊界框幀的丟失。
我們在更多場景和不同實驗設置下測試了協同感知的性能,其結果如上表所示。很顯然,協同感知能有效提高自動駕駛系統的安全性,而通信延遲和錯誤將降低整體性能。
3)目標檢測任務
為了進一步驗證協同感知在不同任務中的性能,我們設計了目標檢測任務。在這些場景中,自車分別在觀測車輛和 RSU 的幫助下,在路口實時檢測繁忙交通中的車輛。檢測到的車輛數量作為評估性能的重要指標,該指標將受到有限視角和檢測范圍的限制。
如上圖所示,未啟用協同感知時,由于周圍車輛遮擋,自車的感知范圍受限。當啟用協同感知時,觀測車輛和 RSU 分享感知信息以擴展感知范圍,從而顯著增加了檢測到的車輛數量。此外,由于目標檢測并非總是穩定的,來自多個來源對同一目標的冗余檢測提高了感知的魯棒性。因此,協同感知在城區復雜交通環境下大幅提升了車輛的感知能力。