成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

智駕“重感知,輕地圖”技術趨勢和可長期支持的業務場景的思考

人工智能 智能汽車
智駕系統分為規劃控制,地圖定位和實時感知三個核心模塊,其中感知提供實時車輛周圍的動靜態信息,為規劃控制的行為決策和執行動作的推演提供局部環境的實時約束。

本文經自動駕駛之心公眾號授權轉載,轉載請聯系出處。

前言

2023年智駕領域的熱門話題是“重感知,輕地圖”方案,也稱“無圖”方案(無圖指不依賴離線高精地圖),這種方案降低了對傳統離線建圖和在線高精定位技術的需求,讓包括我自己在內的很多SLAM技術從業者擔心自己要被“卷沒了”,對智駕的技術發展是否仍然長期需要SLAM技術產生了疑惑。這篇文章是對這個問題的調研和思考。

一 從智駕系統框架說起

智駕系統分為規劃控制,地圖定位和實時感知三個核心模塊,其中感知提供實時車輛周圍的動靜態信息,為規劃控制的行為決策和執行動作的推演提供局部環境的實時約束。如果只是讓車輛在局部空間內自主移動,并假設在線感知能力足夠強,是不需要地圖定位模塊的,但是在智駕系統目前經典的技術棧中,定位和建圖卻是非常重要的一環。理解清楚規劃控制對地圖定位的需求,是分析重感知輕地圖下SLAM技術需求的“變”與“不變”的一把鑰匙。

智駕系統框架[1]

二 規控對地圖和定位的需求

按照規劃控制經典的子模塊劃分,本質上可以理解為一個仿生系統,它類比了人類開車的整個的行為過程。一個典型的駕駛行為如下:

  1. 早上你要開車去公司上班,上車之后的第一個動作是呼叫車載語音助手導航到xxx公司,語音助手喚起車載的高德地圖,提供一條或者多條導航路線顯示給你做選擇。(全局路徑規劃)
  2. 當你沿著導航路線朝著公司方向行進時,語音助手提示你前方路口需要左轉,你發現前方只有最左側車道是可以左轉的,并且左側前方有車,同時前方路口時紅燈,你決定提前變換到左側車道,并控制油門和前車保持一定距離,在路口提前決定剎車以等待紅綠燈,當左轉綠燈亮起,你知道可以左轉了。這里的變道,跟車,左轉在規劃控制中被定義為行為決策
  3. 在上述變道的切換中,你無意識地朝向左側車道前方某個大概位置,根據自車和那個大概位置的距離和方位,不斷地調整油門和左打方向盤的角度,完成變道的決策。畫出一條絲滑的切換軌跡。在這個過程中,我們的大腦其實假象了一條從當前自車位置到左側目標位置的一條局部軌跡,并不斷的動態調整車輛位置讓其沿著這條局部軌跡駛向目標點。在規控中,將一條局部軌跡的跟蹤問題定義為局部規劃或者運動規劃模塊。局部規劃模塊給出一系列動作期望的油門,轉向等控制指令,運動控制器則負責實施期望的油門和轉向等指令。

規控系統框架[1]

為了實現上述過程的自動駕駛,產生了規劃控制模塊對地圖定位的需求。其中,全局路徑規劃僅需要規格稍低的SD地圖(即高德地圖等手機導航級別的地圖)和米級精度的全局定位,以實現從起點(由全局定位模塊提供)到終點(在SD地圖里指定)的全局路徑規劃。對于行為決策和局部規劃模塊,需要局部環境更為豐富和精確的道路信息,比如道路的拓撲結構,停止線,道路曲率等。如果感知能力足夠強,是可以直接在線提供這些信息,但是早期感知能力有限時,則通過額外高精度設備離線采集環境數據,離線計算并保存這些信息的方式提供,即離線高精地圖(HDMap)。

規控對離線高精地圖的使用,產生了對高精地圖定位的需求,即矢量地圖定位。高精地圖構建了一個由各種道路元素組成的虛擬世界,規控其實是在這個虛擬的世界進行決策控制。而矢量地圖定位是實現虛擬地圖世界和真實世界的映射,以保證規控在地圖上的行為動作結果和實際世界一一對應。具體來說,矢量地圖定位通過感知提供的單幀語義矢量(真實世界)如車道線,路燈桿等,結合GNSS組合導航提供的定位初值,和離線高精地圖中的對應語義矢量進行匹配。由此可見,離線高精地圖和矢量定位是一對鎖和鑰匙,兩者依賴對方的存在才有意義。

規控各個子模塊對地圖和定位的需求[1]

三 重感知輕地圖的技術趨勢

高精地圖的不足

以上分析可以發現,離線高精地圖是對實時感知能力不足的一種彌補。離線高精地圖的主要問題是鮮度變化導致的維護成本。當道路結構發生變化時,高精地圖需要持續更新,目前智駕一般把場景分為高速,城區和低速三類。高速是智駕落地的第一個場景,它總里程相對有限(全國高速里程數30多萬公里[5]),且道路維護較好,道路變更發生比例較小,通過一兩家圖商為所有業務方提供離線高精度地圖的方式,更新和維護成本基本可控。

但是隨著高速智駕落地,大家目光轉向城區的智駕時,鮮度和采集成本問題變得突出,導致高速場景依賴離線高精地圖實現高階智駕的方案基本不可行。首先城區的道路里程相對于高速場景里程有數量級的增加(全國城區道路總里程1000多萬公里[5]),且道路信息變更頻繁。而隨著傳感器和感知能力的提升,通過實時感知方式生成道路信息的“重感知,輕地圖”方案成為各家追求的避開高精地圖實現高階智駕的實現方式。

圖商和部分車企通過運營車輛采集進行離線高精地圖更新和擴場的方式,還存在一個明顯的問題是它造成建圖能力和單機能力的脫離,限制了汽車規?;圃炜梢云綌偢黜棾杀镜膬瀯荨=▓D和定位統一為單機能力的一部分,是未來機器人能力研發的趨勢,“重感知,輕地圖”符合這個趨勢。讓建圖能力成為單機能力的一部分,實現的路徑是眾包建圖,或者一些特殊場景下適用的單機單用的車端建圖。眾包建圖可以實現低成本的高精地圖更新,也是充分發揮主機廠數據閉環優勢的場景之一,在感知能力不能cover住全部城區場景(如復雜或異形道路拓撲結構等場景),且傳統運營采集成本高到無法負擔的情況下,會發揮非常核心的作用。眾包建圖的核心支撐是數據閉環,數據閉環能力對于眾包建圖甚至是比建圖算法本身更重要的基礎能力,同時目前高階智駕硬件在各家新車型的標配,也讓眾包建圖不再是無米之炊的幻想。眾包建圖讓每輛汽車都成為了數據源,從這個角度理解,車企尤其是新勢力車企,是城區高階智駕真正的主角。圖商除了偶爾站出來喊兩句世道變了,不再會有太大的作為。

蔚來NT2車型 高階智駕硬件

高精地圖除了以上問題外,在出海銷售時也存在很大問題,由于法律法規的限制,要么只能適配國外本土的高精地圖;要么像一些非洲國家,短期內不太可能有高精地圖,導致智駕功能無法使用。所以,特斯拉在很早之前就堅定的走不依賴離線高精地圖的方案。馬斯克牛逼。

實時Local Map的生成

重感知輕地圖最核心的邏輯,簡單來說就是在感知能力cover住的場景,把規控制需要高精道路元素,由加載離線高精地圖的方式改變為通過在線感知能力生成,進而避免了鮮度和規模化的問題。實時感知提供高精地圖元素的功能通過在線構建局部環境地圖(LocalMap)的方式實現。而智駕的整體架構從規控角度并沒有發生本質變化,行為決策和局部規劃模塊需要的道路要素的精度和規格沒有太大變化,只是從離線加載演變為實時生成。

這里的LocalMap存在兩種技術方案,一種是偏傳統的在線將單幀感知結果進行局部語義矢量建圖,并進行道路拓撲推理,技術棧上仍然依賴傳統的SLAM建圖方法。一種則是端到端直接生成局部地圖,在這方面,清華大學的趙行老師做了一些很不錯的開創性工作[8]。

而實時感知cover不住的復雜場景,則通過眾包方式構建離線的高精地圖,在地圖規模上,相對于全量構建全國城區的高精地圖,里程數降低了很多。而這些城區復雜場景的離線高精地圖,除了在智駕系統中彌補感知能力的不足,也成為感知離線訓練的真值標注數據,進一步反哺提升感知的模型能力,實現數據驅動的感知能力的閉環迭代。

以上,是筆者理解的“重感知,輕地圖”方案。市場上目前也出現了一些“記憶行車”類產品功能,如大疆車載的“記憶行車”,理想汽車的“城市通勤NOA”,小鵬的“AI代駕”。以目前方案公開度較高的理想的“通勤NOA”為例,它使用深度學習特征先驗替代傳統的地圖元素[10],但本質上仍然是一種離線地圖,這種地圖既丟失了離線高精地圖的規范性和可解釋性,又沒有根本上避免傳統離線高精地圖的缺陷。筆者認為只是一種在當前無圖能力或算力不足情況下,配合商業宣傳的短暫形態,不會長久存在。

理想汽車的NMP先驗地圖[10]

四 SLAM有長期需求的業務

根據以上分析,筆者分析存在以下3類業務,即使在重感知輕地圖的技術趨勢下,對經典SLAM技術仍然會有長久需求。

智駕中對經典SLAM方法存在長久需求的業務

需求場景1: 多傳感器的離線和在線標定

多傳感器內外參標定是機器人和智能硬件一直存在的需求,在智駕上也是,主要分為出廠的離線標定和出廠后的在線標定。多傳感器的內外參標定,可以看成是建圖定位的鏡像問題,他們共用相似的觀測方程,只是定義的狀態量發生了鏡像,建圖和定位是假設內外參已知的情況下,估計各個時刻的位姿,而內外參標定則是在假設位姿已知的情況下,估計系統的內外參。

出廠的離線標定,借助高精度的輔助設備,可以獲取精度較高的出廠參數。但是車輛出廠之后,由于碰撞等導致的結構形變,傳感器的老化等,會造成車輛的內外參發生動態變化,使得出廠參數不再適用,因此需要在線標定系統對車輛的內外參進行實時或者半實時的估計。

離線標定[11]

在線標定和離線標定最大的區別是沒有高精度的位姿真值估計系統作為參考,而是借助車端的定位和感知系統的中間結果,構建觀測約束,實現參數的估計。

在很多經典的SLAM論文中,在線標定的實現方式是把內外參作為狀態向量的子狀態之一,和位姿等狀態進行聯合優化。但在現實工程系統中,其實并不是一個很好的方式。理由有以下幾點:

  1. 首先,內外參的估計一般依賴較強的觀測約束和運動激勵,這往往意味著較大算力的需求,這和定位等實時狀態估計系統要朝著低延遲的需求相違背。而且,由于車輛很多時候是二維平面的勻速運動,導致系統部分狀態處于欠激勵的不可觀狀態,使得內外參的在線估計無法收斂。
  2. 內外參是低時變的,保證一個天級或周級的更新就基本滿足需求,讓這樣一個低時變的參數以幾十毫秒級別隨著定位系統進行狀態估計和更新,是一種浪費算力的非必要行為。
  3. 內外參的估計是非實時的需求,完全可以在車輛停泊等空閑狀態時再啟動,實現算力的分時復用。一種是讓在線標定需求每時每刻都占據定位系統0.3核的算力,一種是在車輛閑置時,讓在線標定系統占據系統1個核的算力,顯然后者更容易實現更高精度的結果。

以上,在線標定更合理的方式是做成一個獨立的非實時或半實時模塊,它不斷的收集運動激勵較好情況下的定位和感知系統的數據片段,在車輛空閑時,進行一次算力較重的聯合優化,保證內外參估計的精度。

在線標定[11]

需求場景2: 低速無GNSS場景的定位建圖

無GNSS的低速場景,主要是指地下停車場環境,它和高速以及城區環境相比,存在一些特殊性。回顧上述提到的無圖方案,它并沒有脫離對米級全局定位和SD地圖進行全局路徑規劃的需求。但是在地下停車場,由于沒有GNSS提供全局定位,就需要另外一種替代品,為全局路徑規劃提供全局定位能力,目前主流的替代方案則是通過SLAM方式構建定位地圖,使用地圖定位的方式提供全局定位。同時,很多非公共商場的地下停車場,數量龐大且圖商無法提供SD地圖,也需要以眾包建圖的方式構建SD地圖。這些都是圖商沒有先發優勢,而主機廠能做而且可以做的更好的地方。

下面的視頻,是華為在阿維塔上線的AVP代客泊車功能,通過一次性的單車單用的車端建圖,構建從地庫入口到車主停車位的矢量地圖。地圖構建完成之后,則可以實現自動將車輛開到指定或者沿途停車位的功能。產品體驗上,基本達到了讓用戶愿意買單的程度。這是一個令人興奮的事情,它已經證明了在AVP場景,智駕大有可為,SLAM技術大有可為。

以下是我整理的低速無GNSS場景下的定位建圖技術棧,它分為車端和云端兩部分。是一個非常典型的傳統SLAM技術棧發揮作用的場景。在具體的技術方案的實施上,會有2個主要分歧,一個是建圖是采用單車單用的單次車端建圖還是選擇多車眾包的云端聚合,另外就是定位方案是采用矢量地圖定位還是基于傳統幾何特征的特征地圖定位。在這里介紹下自己的一些思考。

低速無GNSS場景建圖定位技術棧

首先關于地圖形式,單次車端建圖的形態,華為和一些記憶泊車類產品采用的是類似方式,這種方式優點是所見即所得,可以比較快速的獲取一張停車場局部的地圖,缺點是沒有充分利用車輛間共享的地圖信息,這種方法適合有長期固定車位的小區停車場。多車眾包的云端聚合的地圖形態,實現方式是車端單次幾何和矢量建圖結果,在云端進行多車的地圖聚合,是一種眾包形式的建圖方法,優點是可以生成一張范圍更完整的地圖,地圖質量更有保障。缺點是依賴數據閉環能力,鏈路較長,地圖做不到所見即所得,適合沒有固定車位但范圍較大的公共停車場,比商場和辦公場景的地下停車場。同時,建圖方案也需要考慮數據復用的問題,以上兩種方式都有可以實現的路徑,前者可以在車端保存一份原始的建圖數據,在建圖算法更新時,重新“訓練”更新一張新地圖,后者則可以通過回傳更加原始形態的數據來實現。

在定位方案上,矢量地圖定位是目前主流的一種定位方案,優點是地圖規模和算力消耗都較小,缺點是依賴感知,新舊停車場內部環境差異較大,感知存在泛化性問題,導致部分停車場定位退化。另外一種方式是選擇SLAM中的幾何特征地圖,又細分為基于視覺幾何特征和基于激光幾何特征的地圖,幾何特征擺脫了對感知泛化性的依賴,但主流觀點是基于幾何特征的地圖規模和算力占用會明顯高于矢量定位。且兩者都存在通用性的問題,視覺特征地圖存在依賴鏡頭模型,導致相機鏡頭老化或型號變化導致鏡頭畸變產生較大差異時,特征匹配效果退化的問題。激光特征地圖存在依賴車輛需要配置激光雷達,且地圖形態在無激光雷達車型上較難復用的問題。具體采用何種方式,是見仁見智的選擇。筆者認為如果能夠很好地解決無激光雷達車型復用激光特征地圖的問題,基于激光特征地圖的定位方式在泛化性上和穩定性上可以做到比矢量定位更優,且算力和地圖規模和矢量定位相似的水平。

地下停車場尤其是大型停車場和多層停車場,對SLAM的建圖和定位都有比較大的挑戰,地下停車場無GNSS信號,建圖更加依賴相對里程計和回環匹配的效果,且因為沒有GNSS的全局約束,建圖軌跡存在局部的扭曲變形,導致局部環境的失真。在相對里程計精度有限存在Drift的情況下,對初值和視角偏差較大的回環能力有較大的依賴。同時在多層停車場,多層的高度一致性也是一個非常大的挑戰。此外,由于地庫視野遮擋比室外嚴重,在內部路不可能完全遍歷一遍的情況下,導致地圖的局部缺失。

地庫地圖的局部的缺失和質量退化問題,是定位在系統設計上需要消化的問題,這就給地庫的定位提出了挑戰。但地庫定位的挑戰遠不止于此,由于地庫內部沒有GNSS信號,所以目前上線的產品中,多是需要先從室外啟動,以借助GNSS組合導航獲取定位初值;而地庫內部的定位初始化,以及定位失敗下的初始化,在車端算力有限的情況下要做出很好的效果,是一個非常有挑戰性的事情。對于多層停車場,也存在多層的定位高度穩定性問題,是影響定位穩定性的關鍵因素,高度的drift會導致地圖匹配效果的急劇退化和錯樓層匹配。

此外,部分圖商也在嘗試提供地下停車場地圖,但和高速高精地圖不同的是,室內停車場地圖,在定位圖層上并未完全統一,各家的定位方式都不太相同,也依賴各家車廠的傳感器方案,目前較難統一。且車廠有眾包優勢,停車場場景下的定位和建圖的任務,筆者認為短期內還是個家自研為主。

百度手機地圖提供的停車場車位地圖

需求場景3: 4DGT 感知標注

4DGT是2021年Tesla AI Day首次提出的一種新的感知數據標注方法,與傳統的直接在2D 圖片上進行標注不同,它借助SLAM技術為核心的三位重建方法,構建出2D感知語義的精確3D模型,然后將3D模型投影到圖片上,實現低成本高效率的標注。4DGT服務于位感知提供真值訓練數據,是目前SLAM定位建圖技術應用的非常好的一個業務場景。同時,針對于不同的感知任務,4DGT技術也有一些新的發展,具體信息可以參考前段時間地平線隋偉大哥的一個報告[14],對這里涉及的技術棧和細節介紹的已經非常詳細,這里不做贅述。

4D GT Pipeline[13,14]

The Last Choice:打不過就加入

雖然技術手段不斷地更新迭代,但幫助機器人理解3D世界的目標沒有發生變化,保持一顆迎接變化的心態會給自己帶來更開闊的思路。除了繼續深耕經典SLAM技術,目前行業也涌現出一些新的基于Learning 3D技術的方向,如Occupancy Network,3D Objects Detection,以及NeRF,這些方向非常依賴扎實的狀態估計等傳統SLAM技術基礎,是SLAM從業者可以發揮優勢的技術方向。

Learning 3D的技術方向[15,16,17,18]

智駕之外: 通用機器人

令人興奮的是,2023年也是通用機器人行業新機會涌現的一年。在通用機器人潛在應用場景,智駕上的大部分技術棧,從底層芯片,傳感器,到軟件層面的感知,地圖定位和規劃控制,都可以遷移進來,這給相關智駕從業者更多的選擇,未來大有可為。

Tesla Optimus 機器人,使用和Tesla電動汽車一樣的Occupancy Network[19]

原文鏈接:https://mp.weixin.qq.com/s/gJEtzZ7wo73Kki43idnrUw

責任編輯:張燕妮 來源: 自動駕駛之心
相關推薦

2024-12-31 09:30:00

自動駕駛目標檢測智能

2022-10-27 10:36:15

IT人工智能

2022-10-27 10:34:04

2022-11-24 10:43:33

2024-01-11 17:04:28

人工智能綠色數據中心

2024-08-08 09:30:00

2021-03-17 09:55:00

云計算數字化技術

2015-08-30 17:31:09

2022-05-27 11:46:48

技術能力思考

2023-12-12 07:34:54

炎凰數據大數據分析數據庫開發

2009-06-03 14:00:51

ibmdwWebSphere業務

2017-01-18 18:33:50

大數據數據呆技術

2022-08-23 09:36:25

數據遷移
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 午夜影院视频 | 欧美精品一区二区蜜桃 | 国产精品国产精品国产专区不卡 | 亚洲综合色视频在线观看 | 一级大片| 91免费在线看 | 色悠悠久 | 18性欧美 | 亚洲最大的黄色网址 | 欧美日高清| 天天综合亚洲 | 欧美午夜激情在线 | 夜夜爽99久久国产综合精品女不卡 | 国产精品久久久久久久久免费高清 | 国产91在线 | 亚洲 | www.黄色片视频 | 亚洲乱码国产乱码精品精的特点 | 国产传媒在线观看 | 国产91精品久久久久久久网曝门 | 欧美视频成人 | 精久久久| 国产在线精品一区二区 | 成人精品一区二区三区 | 欧美在线视频网 | 国产精品日韩欧美一区二区三区 | 玖玖玖在线 | 国产精品久久久久久久久久免费看 | 999精品视频 | 二区国产| jdav视频在线观看免费 | 亚洲一区二区在线 | 亚洲视频二| 欧美精品91 | 97天天干 | 久久久99精品免费观看 | 日韩高清三区 | 亚洲日韩第一页 | 日韩欧美专区 | 91精品国产综合久久久亚洲 | 久久区二区 | 91精品一区二区三区久久久久久 |