本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

原標(biāo)題：UnO: Unsupervised Occupancy Fields for Perception and Forecasting

論文鏈接：https://arxiv.org/pdf/2406.08691

項目鏈接：https://waabi.ai/uno/

作者單位：Waabi 多倫多大學(xué)

論文思路：

感知世界并預(yù)測其未來狀態(tài)是自動駕駛中的一項關(guān)鍵任務(wù)。監(jiān)督方法利用帶標(biāo)注的物體標(biāo)簽來學(xué)習(xí)世界模型——傳統(tǒng)上通過目標(biāo)檢測和軌跡預(yù)測，或時序鳥瞰視角（BEV）占用場。然而，這些標(biāo)注代價高昂，且通常僅限于一組預(yù)定義的類別，無法涵蓋我們在道路上可能遇到的所有情況。相反，本文通過從LiDAR數(shù)據(jù)中進行自監(jiān)督學(xué)習(xí)，來感知和預(yù)測一個連續(xù)的4D（時空）占用場。這個無監(jiān)督的世界模型可以輕松且有效地轉(zhuǎn)移到下游任務(wù)中。本文通過添加一個輕量級的學(xué)習(xí)渲染器來處理點云預(yù)測，并在Argoverse 2、nuScenes和KITTI數(shù)據(jù)集中實現(xiàn)了最先進的性能。為了進一步展示其可遷移性，本文微調(diào)本文的模型用于BEV語義占用預(yù)測，并顯示其在標(biāo)注數(shù)據(jù)稀缺時，優(yōu)于全監(jiān)督的最先進方法。最后，與之前最先進的時空幾何占用預(yù)測方法相比，本文的4D世界模型在識別與自動駕駛相關(guān)的物體類別上實現(xiàn)了更高的召回率。

論文設(shè)計：

為了讓自動駕駛車輛（SDV）能夠有效且安全地規(guī)劃其行動，它必須能夠感知環(huán)境并預(yù)測其未來的演變。為了執(zhí)行這兩項任務(wù)，已經(jīng)發(fā)展了兩種范式。最常見的方法是檢測場景中的一組離散物體，然后預(yù)測每個物體的可能未來軌跡 [5, 8, 11, 20, 21, 25, 35, 37, 39]。最近，鳥瞰視角（BEV）語義占用場 [1, 6, 15, 27, 31, 34] 變得流行起來，因為它們避免了對置信度分數(shù)進行閾值處理，并且更好地表示了對未來運動的不確定性。

這些方法利用來自人工標(biāo)注的監(jiān)督來學(xué)習(xí)世界模型。不幸的是，它們的性能受限于人工標(biāo)注的規(guī)模和表達能力。由于這些標(biāo)簽的成本高昂，可用的標(biāo)注數(shù)據(jù)量比未標(biāo)注數(shù)據(jù)的量級要小得多。此外，這些標(biāo)簽通常局限于一組預(yù)定義的物體類別，并且物體形狀用3D邊界框來近似，對于許多類別來說，這是一個非常粗糙的近似。因此，罕見事件和不常見的物體很少包含在標(biāo)注數(shù)據(jù)中，限制了當(dāng)前自動駕駛系統(tǒng)的安全性。

這促使本文開發(fā)能夠利用大量未標(biāo)注傳感器數(shù)據(jù)來學(xué)習(xí)世界表示的方法。先前的工作提出直接從過去的點云預(yù)測未來的點云 [28, 36, 38, 40]。然而，這使得任務(wù)變得不必要地困難，因為模型不僅必須學(xué)習(xí)世界模型，還必須學(xué)習(xí)傳感器的外參和內(nèi)參以及LiDAR的屬性，如光線反射率，這是一種復(fù)雜的材料和入射角(materials and incidence angle)函數(shù)。為了解決這個問題，4D-OCC [23] 提出了利用已知的傳感器內(nèi)參和外參來學(xué)習(xí)未來的幾何占用體素網(wǎng)格。然而，該方法受限于使用量化的體素網(wǎng)格和通過回歸優(yōu)化光密度的LiDAR深度渲染目標(biāo)。正如本文的實驗所示，這導(dǎo)致模型在學(xué)習(xí)世界動態(tài)時遇到困難。此外，所學(xué)習(xí)的表示是否對點云預(yù)測以外的下游任務(wù)有用仍然未知。

本文的目標(biāo)是學(xué)習(xí)一個能夠利用大規(guī)模未標(biāo)注LiDAR數(shù)據(jù)的世界模型，并且能夠輕松且有效地遷移到下游感知和預(yù)測任務(wù)中。為此，本文提出了一項新的無監(jiān)督任務(wù)：從LiDAR觀測中預(yù)測連續(xù)的4D（3D空間和時間）占用場（圖1.a）。這一目標(biāo)適合于學(xué)習(xí)通用表示，因為準(zhǔn)確預(yù)測時空占用場需要理解世界的幾何結(jié)構(gòu)（例如，預(yù)測部分遮擋物體的形狀）、動態(tài)（例如，預(yù)測移動物體未來的位置）和語義（例如，理解道路規(guī)則）。重要的是，本文采用了一種隱式架構(gòu)，使本文的模型能夠在空間和未來時間的任何連續(xù)點（x, y, z, t）進行查詢。本文稱之為UNO（UNsupervised Occupancy）的世界模型，能夠?qū)W習(xí)常識性概念，例如物體的完整范圍，即使輸入的LiDAR數(shù)據(jù)只能看到物體的一部分。預(yù)測具有相關(guān)不確定性的多模態(tài)未來的能力也隨之而來；例如，UNO可以預(yù)測一輛車可能會或不會變道，而行人可能會留在人行道上或進入人行橫道。

為了展示本文的世界模型的通用性和有效性，本文展示了它可以遷移到兩個重要的下游任務(wù)：點云預(yù)測（圖1.b）和監(jiān)督的BEV語義占用預(yù)測（圖1.c）。對于點云預(yù)測，UNO通過在占用預(yù)測的基礎(chǔ)上學(xué)習(xí)一個簡單的光線深度渲染器，超越了Argoverse 2、nuScenes和KITTI中的最先進方法。對于BEV語義占用預(yù)測，本文展示了微調(diào)UNO能夠優(yōu)于完全監(jiān)督的方法，特別是在可用于訓(xùn)練的標(biāo)簽有限時，這種改進尤為顯著，展示了令人印象深刻的少樣本泛化能力。

圖1. 本文展示了UNO，這是一種世界模型，能夠從未標(biāo)注數(shù)據(jù)中學(xué)習(xí)預(yù)測隨時間變化的3D占用情況（a）。該模型可以輕松且有效地遷移到下游任務(wù)，如點云預(yù)測（b）和鳥瞰視角語義占用預(yù)測（c）。

實驗結(jié)果：

圖4. UNO在兩個不同示例上的可視化。本文標(biāo)注了以下值得注意的觀察：(A) 右轉(zhuǎn)車輛的預(yù)測，(B) 僅從LiDAR數(shù)據(jù)的部分視角觀察到的物體范圍，(C) 移動車輛的預(yù)測，其中擴展的占用表示對未來加速度的不確定性，(D) 對人行道上行走行人的預(yù)測，(E) 預(yù)測車輛繞過停放的汽車進行變道，(F) 對變道車輛的持久點云預(yù)測，(G) 感知小物體如錐形標(biāo)。

圖5. BEV語義占用結(jié)果。微調(diào)UNO與最先進的監(jiān)督方法在不同監(jiān)督規(guī)模下的對比。

圖6. 微調(diào)后的UNO的BEV語義占用預(yù)測。本文可視化了地圖以提供上下文，但這不是模型的輸入。A：準(zhǔn)確感知場景中擁擠的區(qū)域，B：預(yù)測左轉(zhuǎn)結(jié)束，顯示出隱式地圖理解，C：對移動物體進行準(zhǔn)確的未來預(yù)測。

圖7. 在Argoverse 2傳感器數(shù)據(jù)集上的無監(jiān)督占用召回率比較，結(jié)果在預(yù)測時間范圍內(nèi)取平均值。召回率是在0.7的精度下計算的。?表示最稀有的25%的類別，?表示按邊界框體積計算最小的25%的類別。

總結(jié)：

本文提出了UNO，這是一種強大的無監(jiān)督占用世界模型，能夠從過去的LiDAR數(shù)據(jù)中預(yù)測4D幾何占用場。為了解決這個問題，本文利用未來點云所隱含的占用作為監(jiān)督，來訓(xùn)練一個可以在任意連續(xù)的 (x, y, z, t) 點上查詢的隱式架構(gòu)。UNO不僅能夠從未標(biāo)注數(shù)據(jù)中實現(xiàn)對世界幾何、動態(tài)和語義的出色理解，而且也能夠有效且輕松地遷移到執(zhí)行下游任務(wù)。為了展示這一能力，本文證明了UNO在點云預(yù)測和有監(jiān)督的BEV語義占用預(yù)測任務(wù)上優(yōu)于最先進的方法。本文希望UNO和未來在無監(jiān)督世界模型方面的工作能夠為自動駕駛帶來更高的安全性，特別是對脆弱和稀有道路使用者。