如今自動駕駛汽車和機(jī)器人能夠通過激光雷達(dá)、攝像頭等各種傳感捕獲信息。作為一種傳感器，LiDAR 使用光脈沖測量場景中目標(biāo)的 3D 坐標(biāo)，但是其存在稀疏、范圍有限等缺點——離傳感器越遠(yuǎn)，返回的點就越少。這意味著遠(yuǎn)處的目標(biāo)可能只得到少數(shù)幾個點，或者根本沒有，而且可能無法單獨被 LiDAR 采集到。同時，來自車載攝像頭的圖像輸入非常密集，這有利于檢測、目標(biāo)分割等語義理解任務(wù)。憑借高分辨率，攝像頭可以非常有效地檢測遠(yuǎn)處目標(biāo)，但在測量距離方面不太準(zhǔn)確。

自動駕駛汽車從 LiDAR 和車載攝像頭傳感器收集數(shù)據(jù)。每個傳感器測量值都會被定期記錄，提供 4D 世界的準(zhǔn)確表示。然而，很少有研究算法將這兩者結(jié)合使用。當(dāng)同時使用兩種傳感模式時會面臨兩個挑戰(zhàn)，1) 難以保持計算效率，2) 將一個傳感器的信息與另一個傳感器配對會進(jìn)一步增加系統(tǒng)復(fù)雜性，因為 LiDAR 點和車載攝像頭 RGB 圖像輸入之間并不總是直接對應(yīng)。

在發(fā)表于 ICCV 2021 的論文《 4D-Net for Learned Multi-Modal Alignment 》中，來自谷歌、Waymo 的研究者提出了一個可以處理 4D 數(shù)據(jù)（3D 點云和車載攝像頭圖像數(shù)據(jù)）的神經(jīng)網(wǎng)絡(luò)：4D-Net。這是首次將 3D LiDAR 點云和車載攝像頭 RGB 圖像進(jìn)行結(jié)合的研究。此外，谷歌還介紹了一種動態(tài)連接學(xué)習(xí)方法。最后，谷歌證明 4D-Net 可以更好地使用運動線索（motion cues）和密集圖像信息來檢測遠(yuǎn)處目標(biāo)，同時保持計算效率。

論文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Piergiovanni_4D-Net_for_Learned_Multi-Modal_Alignment_ICCV_2021_paper.pdf

4D-Net

谷歌使用 4D 輸入進(jìn)行目標(biāo) 3D 邊框檢測。4D-Net 有效地將 3D LiDAR 點云與 RGB 圖像及時結(jié)合，學(xué)習(xí)不同傳感器之間的連接及其特征表示。

谷歌使用輕量級神經(jīng)架構(gòu)搜索來學(xué)習(xí)兩種類型的傳感器輸入及其特征表示之間的聯(lián)系，以獲得最準(zhǔn)確的 3D 框檢測。在自動駕駛領(lǐng)域，可靠地檢測高度可變距離的目標(biāo)尤為重要。現(xiàn)代 LiDAR 傳感器的檢測范圍可達(dá)數(shù)百米，這意味著更遠(yuǎn)的目標(biāo)在圖像中會顯得更小，并且它們最有價值的特征將在網(wǎng)絡(luò)的早期層中，與后面的層表示的近距離目標(biāo)相比，它們可以更好地捕捉精細(xì)尺度的特征。基于這一觀察，谷歌將連接修改為動態(tài)的，并使用自注意力機(jī)制在所有層的特征中進(jìn)行選擇。谷歌應(yīng)用了一個可學(xué)習(xí)的線性層，它能夠?qū)⒆⒁饬訖?quán)應(yīng)用于所有其他層的權(quán)重，并學(xué)習(xí)當(dāng)前任務(wù)的最佳組合。

連接學(xué)習(xí)方法示意圖。

結(jié)果

谷歌在 Waymo Open Dataset 基準(zhǔn)中進(jìn)行了測試，之前的模型只使用了 3D 點云，或單個點云和相機(jī)圖像數(shù)據(jù)的組合。4D-Net 有效地使用了兩種傳感器輸入，在 164 毫秒內(nèi)處理 32 個點云和 16 個 RGB 幀，與其他方法相比性能良好。相比之下，性能次優(yōu)的方法效率和準(zhǔn)確性較低，因為它的神經(jīng)網(wǎng)絡(luò)計算需要 300 毫秒，而且比 4D-Net 使用更少的傳感器輸入。

3D 場景的結(jié)果。上圖：與檢測到的車輛相對應(yīng)的 3D 框以不同顏色顯示；虛線框代表丟失的目標(biāo)。底部：出于可視化目的，這些框顯示在相應(yīng)的攝像機(jī)圖像中。

檢測遠(yuǎn)處的目標(biāo)

4D-Net 的另一個優(yōu)點是，它既利用了 RGB 提供的高分辨率，可以準(zhǔn)確地檢測到圖像上的目標(biāo)，又利用了點云數(shù)據(jù)提供的精確深度。因此，點云方法無法探測到的遠(yuǎn)距離目標(biāo)可以被 4D-Net 探測到。這是由于相機(jī)數(shù)據(jù)的融合，能夠探測到遙遠(yuǎn)的目標(biāo)，并有效地將這一信息傳播到網(wǎng)絡(luò)的 3D 部分，以產(chǎn)生準(zhǔn)確的探測。

為了了解 4D-Net 帶來的優(yōu)勢，谷歌進(jìn)行了一系列消融研究。實驗發(fā)現(xiàn)，如果至少有一個傳感器輸入是及時流的，則可以顯著提高檢測準(zhǔn)確率。及時考慮兩個傳感器輸入可以最大程度地提高性能。

使用點云 (PC)、時間點云 (PC + T)、RGB 圖像輸入 (RGB) 和時間 RGB 圖像 (RGB + T) 時，以平均精度 (AP) 測量 3D 目標(biāo)檢測的 4D-Net 性能。

多流 4D-Net

由于 4D-Net 動態(tài)連接學(xué)習(xí)機(jī)制是通用的，因此谷歌并沒有局限于僅將點云流與 RGB 視頻流結(jié)合起來。實際上，谷歌發(fā)現(xiàn)提供一個高分辨率單圖像流以及一個與 3D 點云流輸入結(jié)合的低分辨率視頻流非常劃算。因此，谷歌在下圖中展示了四流（four-stream）架構(gòu)的示例，該架構(gòu)比具有實時點云和圖像的兩流架構(gòu)性能更好。

動態(tài)連接學(xué)習(xí)選擇特定的特征輸入以連接在一起。依托多個輸入流，4D-Net 必須學(xué)習(xí)多個目標(biāo)特征表示之間的連接，這一點很好理解，因為算法沒有改變并且只需要從輸入中選擇特定的特征。這是一個使用可微架構(gòu)搜索的輕量級過程，可以發(fā)現(xiàn)模型架構(gòu)內(nèi)部新的連接，并進(jìn)而高效地找到新的 4D-Net 模型

多流 4D-Net 架構(gòu)包含一個實時 3D 點云流以及多個圖像流（高分辨率單圖像流、中分辨率單圖像流和更低分辨率視頻流圖像）。

谷歌展示了 4D-Net 是一種高效的目標(biāo)檢測方法，尤其適合檢測遠(yuǎn)距離目標(biāo)。研究者希望這項工作為未來的 4D 數(shù)據(jù)研究提供珍貴的資源。