寫在前面&筆者的個(gè)人理解

3D點(diǎn)云物體檢測對自動(dòng)駕駛感知至關(guān)重要，如何高效地從稀疏點(diǎn)云數(shù)據(jù)中學(xué)習(xí)特征表示是3D點(diǎn)云物體檢測面臨的一個(gè)關(guān)鍵挑戰(zhàn)。我們在本文中將會介紹團(tuán)隊(duì)發(fā)表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet，其中HEDNet聚焦于解決現(xiàn)有稀疏卷積神經(jīng)網(wǎng)絡(luò)難以捕捉遠(yuǎn)距離特征間依賴關(guān)系的問題，而SAFDNet則是基于HEDNet構(gòu)建的純稀疏點(diǎn)云檢測器。

前世 - HEDNet

研究背景

主流方法通常將非結(jié)構(gòu)化的點(diǎn)云轉(zhuǎn)換為規(guī)則的體素，并使用稀疏卷積神經(jīng)網(wǎng)絡(luò)或Transformer來提取特征。大多數(shù)現(xiàn)有的稀疏卷積神經(jīng)網(wǎng)絡(luò)主要通過堆疊子流形稀疏殘差（Submanifold Sparse Residual, SSR）模塊構(gòu)建而來，每個(gè)SSR模塊包含兩個(gè)采用小卷積核的子流形稀疏 (Submanifold Sparse, SS) 卷積。然而，子流形稀疏卷積要求輸入和輸出特征圖的稀疏度保持不變，這阻礙了遠(yuǎn)距離特征間的信息交互，導(dǎo)致模型難以捕捉遠(yuǎn)距離特征間的依賴關(guān)系。一種可能的解決方案是將SSR模塊中的子流形稀疏卷積替換為普通稀疏 (Regular Sparse, RS) 卷積。然而，隨著網(wǎng)絡(luò)深度的增加，這會顯著降低特征圖的稀疏度，導(dǎo)致計(jì)算成本大幅增加。一些研究嘗試使用基于大卷積核的稀疏卷積神經(jīng)網(wǎng)絡(luò)或Transformer來捕獲遠(yuǎn)距離特征間的依賴關(guān)系，但這些方法要么沒能在檢測精度上帶來提升，要么需要更高的計(jì)算成本。綜上，我們?nèi)匀蝗狈σ环N能夠高效地捕捉遠(yuǎn)距離特征間依賴關(guān)系的方法。

方法介紹

SSR模塊和RSR模塊

為了提升模型效率，現(xiàn)有的3D點(diǎn)云物體檢測器大多采用稀疏卷積來提取特征。稀疏卷積主要包括RS卷積和SS卷積。RS卷積在計(jì)算過程中會將稀疏特征擴(kuò)散到相鄰區(qū)域，因而會降低特征圖的稀疏度。與之相反，SS卷積則保持輸入和輸出特征圖的稀疏度不變。由于降低特征圖的稀疏度會顯著增加計(jì)算成本，在現(xiàn)有方法中RS卷積通常僅用于特征圖下采樣。另一方面，大多數(shù)基于體素的方法通過堆疊SSR模塊構(gòu)來建稀疏卷積神經(jīng)網(wǎng)絡(luò)，以提取點(diǎn)云特征。每個(gè)SSR模塊包含兩個(gè)SS卷積和一個(gè)融合輸入和輸出特征圖的跳躍連接。

圖 1(a) 展示了單個(gè)SSR模塊的結(jié)構(gòu)。圖中有效特征 (valid feature) 指非零特征，而空特征 (empty feature) 的值為零，代表該位置原本不包含點(diǎn)云。我們將特征圖的稀疏度定義為空特征占據(jù)的區(qū)域面積與特征圖總面積之比。在SSR模塊中，輸入特征圖經(jīng)過兩個(gè)SS卷積轉(zhuǎn)換后得到輸出特征圖，同時(shí)輸入特征圖的信息通過跳躍連接 (Skip conn.) 直接融合到輸出特征圖中。SS卷積只處理有效特征，以保證SSR模塊的輸出特征圖與輸入特征圖具有相同的稀疏度。然而，這樣的設(shè)計(jì)阻礙了不連通特征之間的信息交互。例如，頂部特征圖中由星號標(biāo)記的特征點(diǎn)，無法從底部特征圖中位于紅色虛線框外、由紅色三角形標(biāo)記的三個(gè)特征點(diǎn)接收信息，這限制了模型建模遠(yuǎn)距離特征間依賴關(guān)系的能力。

圖1 SSR、RSR和SED模塊結(jié)構(gòu)比較

對于以上問題，一種可能的解決方案是將SSR模塊中的SS卷積替換為RS卷積來捕捉遠(yuǎn)距離特征間的依賴關(guān)系。我們將這種修改后的模塊稱為普通稀疏殘差 (Regular Sparse Residual, RSR) 模塊，其結(jié)構(gòu)如圖 1(b) 所示。圖中，待擴(kuò)散特征 (expanded feature) 是有效特征鄰域內(nèi)的空特征。RS卷積同時(shí)處理有效特征和待擴(kuò)散特征，其卷積核中心會遍歷這些特征區(qū)域，這種設(shè)計(jì)導(dǎo)致輸出特征圖較輸入特征圖具有更低的稀疏度。堆疊RS卷積則會更加迅速地降低特征圖的稀疏度，進(jìn)而導(dǎo)致模型效率大幅降低。這也是現(xiàn)有方法通常僅將RS卷積用于特征圖下采樣的原因。這里把expanded feature翻譯成待擴(kuò)散特征可能有點(diǎn)奇怪，expanded feature是原始論文中的叫法，我們后來認(rèn)為改成待擴(kuò)散特征更為合適。

SED模塊和DED模塊

SED模塊的設(shè)計(jì)目標(biāo)是克服SSR模塊的局限性。SED模塊通過特征下采樣縮短遠(yuǎn)距離特征之間的空間距離，同時(shí)通過多尺度特征融合恢復(fù)丟失的細(xì)節(jié)信息。圖 1(c)展示了一個(gè)具有兩個(gè)特征尺度的SED模塊示例。該模塊首先采用步長為3的3x3 RS卷積進(jìn)行特征下采樣 (Down)。特征下采樣之后，底部特征圖中不連通的有效特征被整合進(jìn)中間特征圖中相鄰的有效特征內(nèi)。接著，通過在中間特征圖上使用一個(gè)SSR模塊提取特征，來實(shí)現(xiàn)有效特征之間的交互。最后，上采樣 (UP) 中間特征圖以匹配輸入特征圖的分辨率。值得注意的是，這里僅上采樣特征到輸入特征圖中有效特征所對應(yīng)的區(qū)域。因此，SED模塊可以維持特征圖的稀疏度。

圖 2(a) 展示了一個(gè)具有三個(gè)特征尺度的SED模塊的具體實(shí)現(xiàn)方式。括號中的數(shù)字表示對應(yīng)特征圖的分辨率與輸入特征圖的分辨率之比。SED模塊采用了不對稱的編解碼器結(jié)構(gòu)，它利用編碼器提取多尺度特征，并通過解碼器逐步融合提取的多尺度特征。SED模塊采用RS卷積作為特征下采樣層，并采用稀疏反卷積 (Inverse Convolution) 作為特征上采樣層。通過使用編解碼器結(jié)構(gòu)，SED模塊促進(jìn)了空間中不連通特征之間的信息交互，從而使模型能夠捕獲遠(yuǎn)距離特征間的依賴關(guān)系。

圖2 SED和DED模塊結(jié)構(gòu)

另一方面，當(dāng)前主流的3D點(diǎn)云檢測器主要依賴于物體中心特征進(jìn)行預(yù)測，但在稀疏卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖中，物體中心區(qū)域可能存在空洞，尤其是在大物體上。為了解決這一問題，我們提出了DED模塊，其結(jié)構(gòu)如圖 2(b) 所示。DED模塊與SED模塊具有相同的結(jié)構(gòu)，它將SED模塊中的SSR模塊替換為密集殘差 (Dense Residual, DR) 模塊、將用于特征下采樣的RS卷積替換為步長為2的DR模塊以及將用于特征上采樣的稀疏反卷積替換為密集反卷積，其中DR模塊與SSR模塊具有相同的結(jié)構(gòu)，但由兩個(gè)密集卷積組成。這些設(shè)計(jì)使得DED模塊能夠有效地將稀疏特征向物體中心區(qū)域擴(kuò)散。

HEDNet

基于SED模塊和DED模塊，我們提出了層級編解碼器網(wǎng)絡(luò)HEDNet。如圖 3 所示，HEDNet通過一個(gè)3D稀疏主干網(wǎng)絡(luò)來提取高層稀疏特征，接著通過2D密集主干網(wǎng)絡(luò)將稀疏特征擴(kuò)散至物體中心區(qū)域，最后將2D密集主干網(wǎng)絡(luò)輸出的特征送入檢測頭進(jìn)行任務(wù)預(yù)測。為了方便展示，圖中省略了特征圖、和之后的特征下采樣層。宏觀上，HEDNet采用了與SECOND類似的層級網(wǎng)絡(luò)結(jié)構(gòu)，其特征圖的分辨率逐漸降低；微觀上，HEDNet的核心組件SED模塊和DED模塊均采用了編解碼器結(jié)構(gòu)。這就是HEDNet名字的由來。

圖3 HEDNet整體框架

小彩蛋

我們?yōu)槭裁磿氲绞褂镁幗獯a器結(jié)構(gòu)呢？實(shí)際上HEDNet是從我們的前序工作 CEDNet: A Cascade Encoder-Decoder Network for Dense Prediction (改名之前叫CFNet) 中啟發(fā)而來。感興趣可以去看我們的論文。

實(shí)驗(yàn)結(jié)果

我們將HEDNet與此前領(lǐng)先的方法在綜合性能上進(jìn)行了比較，結(jié)果如圖4所示。與基于大卷積核CNN的LargeKernel3D和基于Transformer的DSVT-Voxel相比，HEDNet在檢測精度和模型推斷速度上均取得更優(yōu)的結(jié)果。值得一提的是，與此前最先進(jìn)的方法DSVT相比，HEDNet在取得更高檢測準(zhǔn)確率的同時(shí)，在模型推斷速度上提升了50%。更詳細(xì)的結(jié)果請參見我們的論文。

圖4 在Waymo Open數(shù)據(jù)集上的綜合性能比較

今生 - SAFDNet

研究背景

基于體素的方法通常將稀疏體素特征轉(zhuǎn)換為密集特征圖，接著通過密集卷積神經(jīng)網(wǎng)絡(luò)提取特征進(jìn)行預(yù)測。我們將這類檢測器稱為混合檢測器，其結(jié)構(gòu)如圖 5(a) 所示。這類方法在小范圍 (<75米) 檢測場景上表現(xiàn)優(yōu)異，但隨著感知范圍擴(kuò)大，使用密集特征圖的計(jì)算成本急劇增加，限制了它們在大范圍（>200米）檢測場景中的應(yīng)用。一個(gè)可能的解決方案是通過移除現(xiàn)有混合檢測器中的密集特征圖來構(gòu)建純稀疏檢測器，但這會導(dǎo)致模型的檢測性能明顯下降，因?yàn)槟壳按蠖鄶?shù)混合檢測器依賴于物體中心特征進(jìn)行預(yù)測，當(dāng)使用純稀疏檢測器提取特征時(shí)，大物體的中心區(qū)域通常是空的，這就是物體中心特征缺失問題。因此，學(xué)習(xí)適當(dāng)?shù)奈矬w表征對于構(gòu)建純稀疏檢測器至關(guān)重要。

圖5 混合檢測器、FSDv1和SAFDNet的結(jié)構(gòu)對比

為了解決物體中心特征缺失問題，F(xiàn)SDv1 (圖 5(b)) 首先將原始點(diǎn)云分割為前景點(diǎn)和背景點(diǎn)，接著通過中心點(diǎn)投票機(jī)制對前景點(diǎn)進(jìn)行聚類，并從每個(gè)聚類中提取實(shí)例特征用于初始預(yù)測，最后再通過Group Correction Head進(jìn)一步細(xì)化。為了減少手工提取實(shí)例特征引入的歸納偏差，F(xiàn)SDv2采用虛擬體素化模塊來替換FSDv1中的實(shí)例聚類操作。FSD系列方法與CenterPoint等廣泛使用的檢測框架差異較大，并且引入大量超參數(shù)，導(dǎo)致在真實(shí)場景中部署這些方法面臨挑戰(zhàn)。與FSD系列方法不同，VoxelNeXt直接基于距離物體中心最近的體素特征進(jìn)行預(yù)測，但犧牲了檢測準(zhǔn)確率。

那么我們想要的純稀疏點(diǎn)云檢測器是什么樣的呢？首先，結(jié)構(gòu)要簡單，這樣便于直接部署到實(shí)際應(yīng)用中，一個(gè)直觀的想法是在目前廣泛使用的混合檢測器架構(gòu)如CenterPoint的基礎(chǔ)上，做最小的改動(dòng)來構(gòu)建純稀疏檢測器；其次，在性能上至少要匹配目前領(lǐng)先的混合檢測器，并且能夠適用于不同范圍的檢測場景。

方法介紹

從上述兩個(gè)要求出發(fā)，我們基于HEDNet構(gòu)建了純稀疏3D點(diǎn)云物體檢測器SAFDNet，其宏觀結(jié)構(gòu)如圖 5(c) 所示。SAFDNet首先利用稀疏體素特征提取器來提取稀疏點(diǎn)云特征，接著采用自適應(yīng)特征擴(kuò)散 (Adaptive Feature Diffusion, AFD）策略和2D稀疏卷積神經(jīng)網(wǎng)絡(luò)將稀疏特征擴(kuò)散到物體中心區(qū)域，來解決物體中心特征缺失問題，最后基于稀疏體素特征進(jìn)行預(yù)測。SAFDNet能夠僅使用稀疏特征進(jìn)行高效計(jì)算，并且其大部分結(jié)構(gòu)設(shè)計(jì)和超參數(shù)與基準(zhǔn)混合檢測器保持一致，使其可以輕松適配到實(shí)際應(yīng)用場景，來替換現(xiàn)有的混合檢測器。下面介紹SAFDNet的具體結(jié)構(gòu)。

SAFDNet整體框架

圖 6 展示了SAFDNet的整體框架。與現(xiàn)有的混合檢測器類似，SAFDNet主要由三個(gè)部分組成：一個(gè)3D稀疏主干網(wǎng)絡(luò)、一個(gè)2D稀疏主干網(wǎng)絡(luò)和一個(gè)稀疏檢測頭。3D稀疏主干網(wǎng)絡(luò)用于提取3D稀疏體素特征，并將這些特征轉(zhuǎn)換成2D稀疏BEV特征。3D稀疏主干網(wǎng)絡(luò)使用了3D-EDB模塊來促進(jìn)遠(yuǎn)距離特征間的信息交互 (3D-EDB模塊就是基于3D稀疏卷積構(gòu)建的SED模塊，下文的2D-EDB模塊類似)。2D稀疏主干網(wǎng)絡(luò)接收3D稀疏主干網(wǎng)絡(luò)輸出的稀疏BEV特征作為輸入，它首先對每個(gè)體素進(jìn)行分類，以判斷每個(gè)體素的幾何中心是否落在特定類別的物體邊界框內(nèi)或者是否屬于背景區(qū)域，接著通過AFD操作與2D-EDB模塊，將稀疏特征擴(kuò)散到物體中心區(qū)域。該部分是SAFDNet的核心組件。稀疏檢測頭基于2D稀疏主干網(wǎng)絡(luò)輸出的稀疏BEV特征進(jìn)行預(yù)測。SAFDNet采用CenterPoint提出的檢測頭設(shè)計(jì)，我們對其進(jìn)行了一些調(diào)整以適配稀疏特征，更多細(xì)節(jié)請參見論文。

圖6 SAFDNet整體框架

自適應(yīng)特征擴(kuò)散 (AFD)

由于激光雷達(dá)產(chǎn)生的點(diǎn)云主要分布在物體表面，使用純稀疏檢測器提取特征進(jìn)行預(yù)測將面臨物體中心特征缺失問題。那么檢測器能否在盡可能保持特征稀疏度的同時(shí)，提取更接近或者位于物體中心的特征呢？一個(gè)直觀的想法是將稀疏特征擴(kuò)散到鄰近的體素內(nèi)。圖 6(a)展示了一個(gè)稀疏特征圖的示例，圖中紅點(diǎn)表示物體中心，每一個(gè)方格代表一個(gè)體素，深橙色方格是幾何中心落在物體邊界框內(nèi)的非空體素，深藍(lán)色方格是幾何中心落在物體邊界框外的非空體素，白色方格是空體素。每個(gè)非空體素對應(yīng)一個(gè)非空特征。圖 7(b) 是通過將圖 7(a) 中非空特征均勻擴(kuò)散到KxK (K取5) 的鄰域后得到。擴(kuò)散得到的非空體素以淺橙色或淺藍(lán)色表示。

圖7 均勻特征擴(kuò)散和自適應(yīng)特征擴(kuò)散示意圖

通過分析3D稀疏主干網(wǎng)絡(luò)輸出的稀疏特征圖，我們觀察到：(a) 少于10%的體素落在物體的邊界框內(nèi)；(b) 小物體通常在其中心體素附近或中心體素上有非空特征。這一觀察表明，將所有非空特征擴(kuò)散到相同大小的領(lǐng)域內(nèi)可能是不必要的，特別是對于小物體邊界框內(nèi)和背景區(qū)域中的體素。因此，我們提出了一種自適應(yīng)特征擴(kuò)散策略，該策略根據(jù)體素特征的位置動(dòng)態(tài)調(diào)整擴(kuò)散范圍。如圖 7(c) 所示，該策略通過為大物體邊界框內(nèi)的體素特征分配更大的擴(kuò)散范圍來讓這些特征更接近物體中心，同時(shí)通過為小物體邊界框內(nèi)和背景區(qū)域中的體素特征分配較小的擴(kuò)散范圍來盡可能地維持特征稀疏度。為了實(shí)現(xiàn)這一策略，需要進(jìn)行體素分類(Voxel classification)，以判別任意非空體素的幾何中心是否在特定類別物體的邊界框內(nèi)或者屬于背景區(qū)域。關(guān)于體素分類的更多細(xì)節(jié)請參考論文。通過使用自適應(yīng)特征擴(kuò)散策略，檢測器能夠盡可能地保持特征稀疏度，進(jìn)而受益于稀疏特征的高效計(jì)算。

主要實(shí)驗(yàn)結(jié)果

我們將SAFDNet與之前最好的方法在綜合性能上進(jìn)行了比較，結(jié)果如圖8所示。在檢測范圍較小的Waymo Open數(shù)據(jù)集上，SAFDNet和之前最好的純稀疏檢測器FSDv2以及我們提出的混合檢測器HEDNet取得相當(dāng)?shù)臋z測準(zhǔn)確率，但SAFDNet的推斷速度是FSDv2的2倍以及HEDNet的1.2倍。在檢測范圍較大的Argoverse2數(shù)據(jù)集上，與純稀疏檢測器FSDv2相比，SAFDNet在指標(biāo)mAP上提升了2.1%，同時(shí)推斷速度達(dá)到了FSDv2的1.3倍；與混合檢測器HEDNet相比，SAFDNet在指標(biāo)mAP上提升了2.6%，同時(shí)推斷速度達(dá)到了HEDNet的2.1倍。此外，當(dāng)檢測范圍較大時(shí)，混合檢測器HEDNet的顯存消耗遠(yuǎn)大于純稀疏檢測器。綜上所述，SAFDNet適用于不同范圍的檢測場景，且性能出色。

圖8 主要實(shí)驗(yàn)結(jié)果

未來工作

SAFDNet是純稀疏點(diǎn)云檢測器的一種解決方案，那么它是否存在問題呢？實(shí)際上，SAFDNet只是我們關(guān)于純稀疏檢測器設(shè)想的一個(gè)中間產(chǎn)物，筆者認(rèn)為它過于暴力，也不夠簡潔優(yōu)雅。敬請期待我們的后續(xù)工作！

HEDNet和SAFDNet的代碼都已經(jīng)開源，歡迎大家使用。奉上鏈接: https://github.com/zhanggang001/HEDNet