MIT團隊最新研究,僅靠LiDAR和2D地圖實現端到端自動駕駛
提到自動駕駛,大家自然而然地就會想到「視覺算法」派和「激光雷達」派的爭論,前者依靠攝像頭的純視覺感知,后者則強調激光雷達(LiDAR)的精準測距。據了解,2021年配有激光雷達的車型將會達到23款,但多數是作為高分辨率影像信息的一種補充。
最近, MIT 計算機科學與人工智能實驗室(CSAIL)團隊成功展示了一種基于機器學習的自動駕駛系統,該端到端框架僅使用 LiDAR獲取的原始 3D 點云數據和類似于手機上的低分辨率 GPS 地圖就能進行自主導航,并且大大提升了魯棒性。對依靠 LiDAR 的自動駕駛技術來說,這項研究意義重大。
圖示:基于激光雷達的端到端導航。(來源:MIT CSAIL)
自動駕駛需要對車輛進行實時控制,這就需要端到端學習,可以直接從原始傳感器數據產生實時決策進而自動控制。此外,現實世界中可部署的自動駕駛系統不僅需要準確、高效,還需要魯棒性,而端到端模型對擾動有著較高的敏感性。
CSAIL 先前的工作表明,僅使用由攝像機的視覺數據生成的稀疏地形圖和粗略的定位即可執行點對點導航。目前,計算機視覺還無法很好地應對照明等環境變化產生的影響,相反, LiDAR 傳感器可以提供更準確的距離(深度)信息。
然而, LiDAR 的一個缺點是三維數據所帶來的龐大數據量和計算量。例如,典型的64通道傳感器每秒可產生超過200萬個數據點;推理 3D 模型所需的計算量是推理 2D 圖像的14倍。但是,將數據折疊為 2D 格式又會導致大量信息的丟失。
因此, MIT 團隊基于稀疏卷積內核和硬件感知模型設計了名為 Fast-LiDARNet 的神經網絡。通過主動降低點云的采樣率,該神經網絡能夠高效地在完整的 LiDAR 點云上學習,做出實時控制決策。
在現實世界中,瞬時決策會因為傳感器的問題出現外分布(out-of-distribution)的情況。針對這一問題,MIT 團隊提出「混合證據融合」(HybridEvidential Fusion)的方法,該方法通過證據深度學習簡單而直接地預測出決策的不確定性,再通過加權的方式智能地融合控制決策,實現可靠的轉向操作。
圖示:高效且強大的基于LiDAR的端到端導航框架。(來源:論文)
研究人員在全尺寸車輛上評估了他們基于激光雷達的端到端自動駕駛系統,展示了出色的車道穩定以及導航功能。該系統顯著提高了魯棒性,減少了因失控導致的人為接管次數。
多項技術保證自動化系統的優勢
效率的提升保證了自動駕駛的精準控制。論文的共同一作、 MIT 在讀博士生劉志健表示:「我們從算法和系統角度優化了我們的解決方案,與現有的 3D 激光雷達方法相比,累計加速了9倍之多。」
速度的提升一方面歸功于端到端模型,另一方面歸功于稀疏卷積內核。這個內核是源于該團隊先前提出的 3D 點云計算模塊稀疏點云-柵格卷積(SPVConv),通過在稀疏張量 (Sparse Tensor) 表示下利用三維稀疏卷積 (3D SparseConvolution) 來處理鄰點信息,即使在室外較大的場景中,也可以保留精細的細節,同時大大減少了計算量,縮短了計算時間。
MIT 團隊的目標一直是「實現對新環境中的駕駛具有魯棒性的自主導航」。從2018年開發的允許無人駕駛汽車在沒有3D地圖的情況下在從未有過的道路上行駛的 MapLite ,到2019年的僅使用簡單的地圖和相機視覺數據使汽車在新的復雜環境中自動駕駛的端到端機器學習系統,再到如今基于 LiDAR 數據的端到端自動駕駛系統,該團隊初步實現了他們的目標。
圖示:基于機器學習的端到端自動駕駛系統架構圖。(來源:論文)
魯棒性的提高保證了新系統在現實世界中是可行的。研究人員表明,有了新的混合證據融合策略,他們的系統減少了測試時駕駛員不得不接管汽車控制的頻率,甚至可以應對嚴重的傳感器故障。MIT 教授 Daniela Rus 說:「通過基于模型不確定性的融合控制預測,該系統可以應對突發事件。」
想象一下,當你開車穿過隧道,在出隧道的那一瞬間,突然暴露在陽光下,由于眩光,視線可能會出現短暫丟失。自動駕駛汽車中的攝像頭以及天氣條件較差時的激光雷達傳感器也會出現類似的問題,而新系統就可以很好地解決這個問題。通過在做出決策時賦予該預測權重,即使出現傳感器數據不準確的情況(例如,穿出隧道),系統也可以忽略這些不應信任的預測。
圖示:僅用 LiDAR 的模型的真實評估,紅點出息為人為干預控制的情況。(來源:論文)
高級別自動駕駛的未來
未來的自動駕駛汽車將包括收集彩色數據的攝像機、用于高分辨率近場感知的 LiDAR和用于在惡劣天氣下進行遠距離感知的 RADAR 。在這套傳感器組成中,LiDAR 將是最有價值、最重要的。
要實現(L3以上)高級別自動駕駛技術,最關鍵的零部件非「激光雷達」莫屬——這幾乎已經成了一個自動駕駛工程界默認的「公理」。3D 構建能力與準確的深度知覺,決定了激光雷達在工業勘測與自動駕駛界不可撼動的重要地位。
激光作為一種平行光,即便光線射出后遇到障礙物的阻擋,其傳播也會保持準直。這也就意味著,無論是你近在眼前,還是100米開外,它都能聚焦到你身上。無數激光點根據物體距離的不同,在平面上打出深淺不一的線性陰影,形成了 3D 點云圖,很像鉛筆勾勒出的速寫畫。
由于激光雷達仍存在著一些尚未解決的問題,目前車載的激光雷達傳感器還未得到很好地應用。但是, MIT 團隊這項最新研究可以讓我們看到未來實際應用的希望。無論是速度、準確度,還是魯棒性,多項技術的融合展示了出色的自動駕駛能力,相信也能為從業人員提供一些應用靈感。下一步,該團隊計劃繼續擴展其系統,以增加現實世界中的復雜性,包括不利的天氣條件以及與其他車輛的動態交互。
論文鏈接:https://arxiv.org/abs/2105.09932