寫在前面&筆者的個(gè)人理解

地圖作為自動(dòng)駕駛系統(tǒng)下游應(yīng)用的關(guān)鍵信息，通常以車道或中心線表示。然而，現(xiàn)有的地圖學(xué)習(xí)文獻(xiàn)主要集中在檢測(cè)基于幾何的車道或感知中心線的拓?fù)潢P(guān)系。這兩種方法都忽略了車道線與中心線的內(nèi)在關(guān)系，即車道線綁定中心線。雖然在一個(gè)模型中簡(jiǎn)單地預(yù)測(cè)兩種類型的車道在學(xué)習(xí)目標(biāo)中是互斥的，但本文提出將lane segment作為一種無(wú)縫結(jié)合幾何和拓?fù)湫畔⒌男卤硎荆虼颂岢隽薒aneSegNet。這是第一個(gè)生成lane segment以獲得道路結(jié)構(gòu)完整表示的端到端建圖網(wǎng)絡(luò)。LaneSegNet有兩個(gè)關(guān)鍵的修改，一個(gè)是車道注意力模塊，用于捕捉長(zhǎng)距離特征空間內(nèi)的關(guān)鍵區(qū)域細(xì)節(jié)。另一個(gè)是參考點(diǎn)的相同初始化策略，它增強(qiáng)了車道注意力的位置先驗(yàn)的學(xué)習(xí)。在OpenLane-V2數(shù)據(jù)集上，LaneSegNet在三項(xiàng)任務(wù)上都比以前的同類產(chǎn)品有顯著的優(yōu)勢(shì)，即地圖元素檢測(cè)（+4.8 mAP）、車道中心線感知（+6.9 DETl）和新定義的lane segment感知（+5.6 mAP）。此外，它還獲得了14.7FPS的實(shí)時(shí)推理速度。

開源鏈接：https://github.com/OpenDriveLab/LaneSegNet

總結(jié)來(lái)說(shuō)，本文的主要貢獻(xiàn)如下：

• 本文引入了全新的lane segment感知作為一種新的地圖學(xué)習(xí)公式。它包含了幾何和拓?fù)湟亍Ｎ覀兿Ｍ芙o領(lǐng)域帶來(lái)新的見(jiàn)解。
• 本文提出了LaneSegNet，這是一種為lane segment感知而提出的端到端網(wǎng)絡(luò)。已經(jīng)提出了兩種新的修改，包括具有heads-to-regions機(jī)制的車道注意力模塊，用于捕獲長(zhǎng)距離注意力，以及用于參考點(diǎn)的相同初始化策略，以增強(qiáng)車道注意力的位置先驗(yàn)學(xué)習(xí)。

相關(guān)工作回顧

中心線感知：來(lái)自車載傳感器數(shù)據(jù)的中心線感知（與本文中的車道圖學(xué)習(xí)相同）最近引起了極大的關(guān)注。STSU提出了一種類似DETR的網(wǎng)絡(luò)來(lái)檢測(cè)中心線，然后是多層感知器（MLP）模塊來(lái)確定它們的連接性。在STSU的基礎(chǔ)上，Can等人引入了額外的最小循環(huán)查詢，以確保重疊行的正確順序。CenterLineDet將中心線視為頂點(diǎn)，設(shè)計(jì)了通過(guò)模仿學(xué)習(xí)訓(xùn)練的圖更新模型。值得注意的是，特斯拉提出了“車道語(yǔ)言”的概念，將車道圖表示為一個(gè)句子。他們基于注意力的模型遞歸地預(yù)測(cè)車道標(biāo)記及其連通性。除了這些分段方法外，LaneGAP還引入了一種使用額外轉(zhuǎn)換算法恢復(fù)車道圖的路徑方法。TopoNet針對(duì)完整多樣的駕駛場(chǎng)景圖，對(duì)網(wǎng)絡(luò)內(nèi)中心線的連通性進(jìn)行了顯式建模，并將交通元素納入任務(wù)中。在這項(xiàng)工作中，我們采用segment方法來(lái)構(gòu)建車道圖。然而，我們?cè)诮ane Segment而不是將中心線作為車道圖的頂點(diǎn)方面與以往的方法不同，這允許方便地集成段級(jí)幾何和語(yǔ)義信息。

地圖元素檢測(cè)：在先前的工作中，人們關(guān)注將地圖元素檢測(cè)從相機(jī)平面提升到3D空間，以克服投影誤差。隨著BEV感知的流行趨勢(shì)，最近的工作專注于使用分割和矢量化方法學(xué)習(xí)高清地圖。地圖分割預(yù)測(cè)每個(gè)純BEV網(wǎng)格的語(yǔ)義，如車道、人行橫道和可駕駛區(qū)域。這些工作主要在透視圖（PV）到BEV轉(zhuǎn)換模塊方面有所區(qū)別。然而，分割的地圖不能提供下游模塊所使用的直接信息。HDMapNet通過(guò)對(duì)具有復(fù)雜后處理的分割地圖進(jìn)行分組和矢量化來(lái)處理該問(wèn)題。

盡管密集分割提供了像素級(jí)的信息，但它仍然無(wú)法觸及重疊元素的復(fù)雜關(guān)系。VectorMapNet提出將每個(gè)地圖元素直接表示為點(diǎn)序列，使用粗略的關(guān)鍵點(diǎn)來(lái)順序解碼車道位置。MapTR探索了一種統(tǒng)一的基于排列的點(diǎn)序列建模方法，以消除建模歧義，提高性能和效率。PivotNet進(jìn)一步在集合預(yù)測(cè)框架中使用基于樞軸的表示對(duì)地圖元素進(jìn)行建模，以減少冗余并提高準(zhǔn)確性。StreamMapNet利用多點(diǎn)注意力和時(shí)間信息來(lái)提高遠(yuǎn)程地圖元素檢測(cè)的穩(wěn)定性。事實(shí)上，由于矢量化也豐富了車道的方向信息，因此基于矢量化的方法可以通過(guò)交替監(jiān)督來(lái)容易地適應(yīng)中心線感知。在這項(xiàng)工作中，我們?yōu)榈缆飞系乃懈咔宓貓D元素提出了一種統(tǒng)一的、便于學(xué)習(xí)的表示方式——車道分段。

詳解LaneSegNet

車道分段感知任務(wù)描述

Lane Segment的實(shí)例包含道路的幾何和語(yǔ)義方面。至于幾何，它可以表示為由矢量化的中心線及其相應(yīng)的車道邊界組成的線段：。每條線都被定義為3D空間中個(gè)點(diǎn)的有序集合。此外，幾何體也可以被描述為定義該車道內(nèi)的可駕駛區(qū)域的閉合多邊形。

在語(yǔ)義方面，它包括Lane Segment類別C（例如，Lane Segment、行人交叉）和左/右車道邊界的線型（例如，不可見(jiàn)、實(shí)心、虛線）：{}。這些細(xì)節(jié)為自動(dòng)駕駛汽車提供了關(guān)于減速要求和變道可行性的重要見(jiàn)解。

此外，拓?fù)湫畔⒃诼窂揭?guī)劃中起著至關(guān)重要的作用。為了表示這一信息，為L(zhǎng)ane Segment構(gòu)建了一個(gè)車道圖，表示為G=（V，E）。每個(gè)Lane Segment都是該圖中的一個(gè)節(jié)點(diǎn)，由集合V表示，而集合E中的邊描述了Lane Segment之間的連通性。我們使用鄰接矩陣來(lái)存儲(chǔ)該車道圖，其中只有當(dāng)?shù)趈個(gè)Lane Segment跟隨第i個(gè)Lane Segment時(shí)，矩陣元素（i，j）才設(shè)置為1；否則，它保持為0。

LaneSegNet框架

LaneSegNet的整體框架如圖2所示。LaneSegNet將環(huán)視圖像作為輸入，以感知特定BEV范圍內(nèi)的Lane Segment。在本節(jié)中，我們首先簡(jiǎn)要介紹用于生成BEV特征的LaneSeg編碼器。然后，我們介紹了車道分段解碼器和車道注意力。最后，我們提出了車道分段預(yù)測(cè)器以及訓(xùn)練損失。

LaneSeg Encoder

編碼器將環(huán)視圖像轉(zhuǎn)換為BEV特征，用于Lane Segment提取。我們利用標(biāo)準(zhǔn)的ResNet-50主干從原始圖像中導(dǎo)出特征圖。隨后使用BEVFormer的PV到BEV編碼器模塊被用于視圖轉(zhuǎn)換。

LaneSeg Decoder

基于Transformer的檢測(cè)方法利用解碼器從BEV特征中收集特征，并通過(guò)多層更新解碼器查詢。每個(gè)解碼器層利用自注意力、交叉注意力機(jī)制和前饋網(wǎng)絡(luò)來(lái)更新查詢。此外，還采用了可學(xué)習(xí)的位置查詢。更新后的查詢隨后被輸出并被饋送到下一階段。

由于復(fù)雜且細(xì)長(zhǎng)的地圖幾何形狀，收集長(zhǎng)距離BEV特征對(duì)于在線地圖任務(wù)至關(guān)重要。先前的工作利用分層（實(shí)例點(diǎn)）解碼器查詢和可變形注意力來(lái)提取每個(gè)點(diǎn)查詢的局部特征。雖然這種方法避免了捕獲長(zhǎng)距離信息，但由于查詢數(shù)量的增加，隨之而來(lái)的是高昂的計(jì)算成本。

Lane Segment作為構(gòu)建場(chǎng)景圖的車道實(shí)例表示，在實(shí)例層面上具有優(yōu)越的特性。我們的目標(biāo)不是使用多點(diǎn)查詢，而是采用單個(gè)實(shí)例查詢來(lái)表示Lane Segment。因此，核心挑戰(zhàn)在于如何使用單個(gè)實(shí)例查詢來(lái)交叉關(guān)注全局BEV特性。

Lane Attention：在目標(biāo)檢測(cè)中，可變形注意力利用目標(biāo)的位置先驗(yàn)，只關(guān)注目標(biāo)參考點(diǎn)附近的一小部分注意力值作為預(yù)濾波器，大大加速了收斂。在層迭代期間，參考點(diǎn)被放置在預(yù)測(cè)目標(biāo)的中心，以細(xì)化注意力值的采樣位置，注意力值通過(guò)可學(xué)習(xí)的采樣偏移分散在參考點(diǎn)周圍。采樣偏移的有意初始化包含了二維目標(biāo)之前的幾何體。通過(guò)這樣做，多分支機(jī)制可以很好地捕捉每個(gè)方向的特征，如圖3a所示。

在地圖學(xué)習(xí)的背景下，李等人使用樸素的可變形注意力來(lái)預(yù)測(cè)中心線。然而如圖3b所示，由于參考點(diǎn)的樸素放置，它可能無(wú)法獲得lone range注意力。此外，由于目標(biāo)的細(xì)長(zhǎng)形狀和復(fù)雜的視覺(jué)線索（例如，精確預(yù)測(cè)實(shí)線和虛線之間的斷點(diǎn)），這一過(guò)程需要為我們的任務(wù)進(jìn)行額外的自適應(yīng)設(shè)計(jì)。考慮到所有這些特征，網(wǎng)絡(luò)有必要擁有不僅關(guān)注長(zhǎng)范圍上下文信息，而且準(zhǔn)確提取局部細(xì)節(jié)的能力。因此，建議將采樣位置分布在大的區(qū)域中，以有效地感知長(zhǎng)距離信息。另一方面，局部細(xì)節(jié)應(yīng)易于區(qū)分，以識(shí)別關(guān)鍵點(diǎn)。值得注意的是，雖然在單個(gè)注意力頭內(nèi)的value特征之間是競(jìng)爭(zhēng)關(guān)系，但不同頭部之間的value特征可以在Attention過(guò)程中保留。因此，明確利用這一屬性來(lái)促進(jìn)對(duì)特定區(qū)域局部特征的關(guān)注是有希望的。

為此，本文提出建立一個(gè)heads-to-regions機(jī)制。我們首先在Lane Segment區(qū)域內(nèi)均勻分布多個(gè)參考點(diǎn)。然后圍繞局部區(qū)域中的每個(gè)參考點(diǎn)對(duì)采樣位置進(jìn)行初始化。為了保留復(fù)雜的局部細(xì)節(jié)，我們使用了多分支機(jī)制，其中每個(gè)頭都關(guān)注局部區(qū)域內(nèi)的一組特定采樣位置，如圖3c所示。

現(xiàn)在提供車道注意力模塊的數(shù)學(xué)描述。給定BEV特征，第i個(gè)Lane Segment查詢特征qi和一組參考點(diǎn)pi作為輸入，車道注意力計(jì)算如下：

參考點(diǎn)的相同初始化：參考點(diǎn)的位置是車道注意力模塊功能的決定因素。為了使每個(gè)實(shí)例查詢的關(guān)注區(qū)域與其實(shí)際幾何結(jié)構(gòu)和位置對(duì)齊，基于前一層的Lane Segment預(yù)測(cè)來(lái)分布每個(gè)實(shí)例查詢中的參考點(diǎn)p，如圖3c所示。并迭代細(xì)化預(yù)測(cè)。

先前的工作認(rèn)為，提供給第一層的參考點(diǎn)應(yīng)該用從位置查詢嵌入推導(dǎo)出的可學(xué)習(xí)先驗(yàn)來(lái)單獨(dú)初始化。然而，由于位置查詢與輸入圖像無(wú)關(guān)，因此這種初始化方法可能會(huì)反過(guò)來(lái)限制模型記憶幾何先驗(yàn)和位置先驗(yàn)的能力，并且錯(cuò)誤生成的初始化位置也會(huì)對(duì)訓(xùn)練構(gòu)成障礙。

因此，對(duì)于Lane Segment解碼器的第一層，我們提出了相同的初始化策略。在第一層中，每個(gè)頭部采用由位置查詢生成的相同參考點(diǎn)。與傳統(tǒng)方法中的參考點(diǎn)分布式初始化（即為每個(gè)查詢初始化多個(gè)參考點(diǎn)）相比，相同的初始化將通過(guò)過(guò)濾掉復(fù)雜幾何形狀的干擾，使位置先驗(yàn)的學(xué)習(xí)更加穩(wěn)定。需要注意的是，相同的初始化似乎是反直覺(jué)的，但被觀察到是有效的。

LaneSeg Predictor

我們?cè)诙鄠€(gè)預(yù)測(cè)分支中使用MLP，從Lane Segment查詢中生成最終預(yù)測(cè)的Lane Segment，同時(shí)考慮幾何、語(yǔ)義和拓?fù)浞矫妗?/p>

對(duì)于幾何，我們首先設(shè)計(jì)了一個(gè)中心線回歸分支來(lái)回歸中心線在三維坐標(biāo)中的矢量化點(diǎn)位置。輸出的格式為。由于左右車道邊界的對(duì)稱性，我們引入了一個(gè)偏移分支來(lái)預(yù)測(cè)偏移，其格式為。因此，可以使用和來(lái)計(jì)算左右車道邊界坐標(biāo)。

假設(shè)車道分段可以概念化為可駕駛區(qū)域，我們將實(shí)例分段分支集成到預(yù)測(cè)器中。在語(yǔ)義方面，三個(gè)分類分支并行預(yù)測(cè)C的分類得分，和的得分。拓?fù)浞种⒏碌牟樵兲卣髯鳛檩斎耄⑹褂肕LP輸出車道圖G的加權(quán)相鄰矩陣。

訓(xùn)練損失

LaneSegNet采用類似DETR的范式，使用匈牙利算法有效地計(jì)算預(yù)測(cè)和地面實(shí)況之間的一對(duì)一最優(yōu)分配。然后根據(jù)分配結(jié)果計(jì)算訓(xùn)練損失。損失函數(shù)由四個(gè)部分組成：幾何損失、分類損失、laneline型分類損失和拓?fù)鋼p失。

幾何損失監(jiān)督每個(gè)預(yù)測(cè)Lane Segment的幾何結(jié)構(gòu)。根據(jù)二分匹配結(jié)果，為每個(gè)預(yù)測(cè)的矢量化Lane Segment分配一個(gè)GT Lane Segment。矢量化幾何損失定義為分配的Lane Segment對(duì)之間計(jì)算的曼哈頓距離。

實(shí)驗(yàn)結(jié)果

主要實(shí)驗(yàn)結(jié)構(gòu)

Lane Segment感知：在表1中，我們?cè)谛乱氲腖ane Segment感知基準(zhǔn)上，將LaneSegNet與幾種最先進(jìn)的方法MapTR、MapTRv2和TopoNet進(jìn)行了比較。用我們的Lane Segment標(biāo)簽重新訓(xùn)練他們的模型。LaneSegNet在mAP上的性能優(yōu)于其他方法高達(dá)9.6%，平均距離誤差相對(duì)降低了12.5%。LaneSegNet-mini也超過(guò)了以前的方法，F(xiàn)PS更高，為16.2。

定性結(jié)果如圖4所示：

地圖元素檢測(cè)：為了與地圖元素檢測(cè)方法進(jìn)行更公平的比較，我們將LaneSegNet的預(yù)測(cè)Lane Segment分解為成對(duì)的車道，然后使用地圖元素檢測(cè)指標(biāo)將其與最先進(jìn)的方法進(jìn)行比較。我們將拆下的車道線和人行橫道標(biāo)簽輸入到幾種最先進(jìn)的方法中進(jìn)行再訓(xùn)練。實(shí)驗(yàn)結(jié)果如表2所示，表明LaneSegNet在地圖元素檢測(cè)任務(wù)方面始終優(yōu)于其他方法。在公平的比較下，LaneSegNet可以在額外的監(jiān)督下更好地恢復(fù)道路幾何形狀。這表明Lane Segment學(xué)習(xí)表示善于捕捉道路幾何信息。

中心線感知：我們還在表3中將LaneSegNet與最先進(jìn)的中心線感知方法進(jìn)行了比較。為了保持一致性，還從Lane Segment中提取中心線以進(jìn)行重新訓(xùn)練。可以得出結(jié)論，LaneSegNet在車道圖感知任務(wù)中的性能明顯高于其他方法。通過(guò)額外的地理監(jiān)控，LaneSegNet還展示了卓越的拓?fù)渫评砟芰ΑＷC明了推理能力與較強(qiáng)的定位和檢測(cè)能力密切相關(guān)。

消融實(shí)驗(yàn)

Lane Segment公式：在表4中，我們提供消融來(lái)驗(yàn)證我們提出的Lane Segment學(xué)習(xí)公式的設(shè)計(jì)優(yōu)點(diǎn)和訓(xùn)練效率。與前兩行的單獨(dú)訓(xùn)練模型相比，中心線和地圖元素的聯(lián)合訓(xùn)練對(duì)兩個(gè)主要指標(biāo)帶來(lái)了全面的平均1.3的改進(jìn)，如第4行所示，證明了多任務(wù)訓(xùn)練的可行性。然而，通過(guò)添加額外的類別在單個(gè)分支中訓(xùn)練中心線和地圖元素的普通方法會(huì)導(dǎo)致明顯的性能下降。與上述樸素單分支方法相比，我們使用Lane Segment標(biāo)簽訓(xùn)練的模型獲得了顯著的性能增強(qiáng)（對(duì)于第3行和第5行之間的比較，OLS上的+7.2和mAP上的+4.4），這驗(yàn)證了我們的地圖學(xué)習(xí)公式中各種道路信息之間的正交互作用。我們的模型甚至超過(guò)了多分支方法，特別是在中心線感知方面（OLS為+4.8）。這表明幾何可以在我們的地圖學(xué)習(xí)公式中指導(dǎo)拓?fù)渫评恚渲卸喾种Ｐ蛢H略微優(yōu)于僅CL模型（第1行和第4行之間+0.6 OLS）。至于的小幅下降，它來(lái)自于我們預(yù)測(cè)結(jié)果的重塑過(guò)程，是由線型分類的錯(cuò)誤引起的，

車道注意力模塊：我們展示的注意力模塊消融如表5所示。為了便于進(jìn)行公平的比較，我們用替代注意力設(shè)計(jì)代替了框架中的車道注意力模塊。在我們精心設(shè)計(jì)的情況下，具有車道注意力的LaneSegNet顯著優(yōu)于這些方法，顯示出顯著的改進(jìn)（與第1行相比，mAP提高了3.9，TOPll提高了1.2）。此外，與分層查詢?cè)O(shè)計(jì)相比，由于查詢數(shù)量的減少，解碼器延遲可以進(jìn)一步減少（從23.45ms減少到20.96ms）。

結(jié)論

本文提出了Lane Segment感知作為一種新的地圖學(xué)習(xí)公式，并提出了LaneSegNet，一種專門針對(duì)這一問(wèn)題的端到端網(wǎng)絡(luò)。除了網(wǎng)絡(luò)之外，還提出了兩個(gè)創(chuàng)新的增強(qiáng)功能，包括車道注意力模塊，該模塊采用頭到區(qū)域機(jī)制來(lái)捕捉長(zhǎng)距離注意力，以及參考點(diǎn)的相同初始化策略，以增強(qiáng)車道注意力的位置先驗(yàn)學(xué)習(xí)。在OpenLane-V2數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了我們?cè)O(shè)計(jì)的有效性。

限制和未來(lái)工作。由于計(jì)算限制，我們沒(méi)有將所提出的LaneSegNet擴(kuò)展到更多的額外主干。Lane Segment感知和LaneSegNet的制定可能有利于下游任務(wù)，值得未來(lái)探索。