以神經(jīng)網(wǎng)絡(luò)為核心引擎，讓AI承擔(dān)雷達(dá)仿真數(shù)據(jù)生成任務(wù)，還實(shí)現(xiàn)對(duì)雷達(dá)物理特性的建模與控制——

這就是光輪智能聯(lián)合清華AIR、LeddarTech等機(jī)構(gòu)提出的全新自動(dòng)駕駛神經(jīng)渲染框架SA-Radar。

在無需雷達(dá)具體細(xì)節(jié)的情況下，它能實(shí)現(xiàn)可控且逼真的雷達(dá)仿真，支持場(chǎng)景的靈活編輯——包括雷達(dá)屬性修改、演員移除以及新視角合成，并能顯著增強(qiáng)多種下游任務(wù)。

作為高級(jí)駕駛輔助系統(tǒng)（ADAS）中扮演著至關(guān)重要角色的雷達(dá)，其相關(guān)研究和開發(fā)仍面臨數(shù)據(jù)獲取的挑戰(zhàn)。

尤其讓人頭疼的事情，是雷達(dá)圖像顯著受到具體軟硬件細(xì)節(jié)的影響。

為了解決這一問題，SA-Radar應(yīng)運(yùn)而生。

如下，真實(shí)畫面右側(cè)從左至右依次是RGB圖像、雷達(dá)真值、雷達(dá)仿真結(jié)果、雷達(dá)屬性修改后的仿真結(jié)果、去除場(chǎng)景目標(biāo)后的仿真結(jié)果和新視角下的仿真結(jié)果。

下圖展示了在同一場(chǎng)景中，不同雷達(dá)屬性和不同視角下的仿真結(jié)果：

現(xiàn)存兩種雷達(dá)仿真方法均有不足

憑借其卓越的抗干擾能力和在惡劣天氣條件下的可靠性，雷達(dá)在復(fù)雜交通環(huán)境中表現(xiàn)出色。

然而，雷達(dá)相關(guān)研究和開發(fā)仍面臨數(shù)據(jù)獲取的挑戰(zhàn)。

現(xiàn)有的雷達(dá)仿真方法可以被大致分為兩種：

• 生成式雷達(dá)仿真
• 基于物理的雷達(dá)仿真

生成式雷達(dá)仿真通過生成對(duì)抗網(wǎng)絡(luò)（GAN）等方法直接生成特定領(lǐng)域的雷達(dá)數(shù)據(jù)。

這種生成數(shù)據(jù)在簡(jiǎn)單的2D任務(wù)上能實(shí)現(xiàn)和真實(shí)數(shù)據(jù)接近的效果。

然而，該方法主要存在兩個(gè)問題——

第一，不同雷達(dá)的接收信號(hào)存在明顯的域差異，因此需要為每種雷達(dá)單獨(dú)收集訓(xùn)練數(shù)據(jù)。

第二，由于缺乏物理先驗(yàn)，生成式方法無法實(shí)現(xiàn)雷達(dá)屬性的外推，即只能仿真特定雷達(dá)屬性下的數(shù)據(jù)。

相比之下，基于物理的雷達(dá)仿真通過建模電磁波從發(fā)射到接收的完整過程來仿真雷達(dá)數(shù)據(jù)，這使得它是可解釋和屬性可控的。

然而，這種方法需要了解詳細(xì)的雷達(dá)硬件參數(shù)和復(fù)雜的信號(hào)處理算法，并花費(fèi)較長(zhǎng)的仿真時(shí)間。

通過神經(jīng)渲染模型實(shí)現(xiàn)可控且高效仿真

為了解決上述問題，研究團(tuán)隊(duì)提出了SA-Radar。

該方法集成了生成式方法和基于物理方法的優(yōu)勢(shì)，通過基于波形參數(shù)的雷達(dá)屬性表示和嵌入波形參數(shù)編碼的3D U-Net模型，實(shí)現(xiàn)了多種傳感器設(shè)置下雷達(dá)數(shù)據(jù)的可控且高效仿真。

具體來說，該項(xiàng)工作提出了一種基于波形參數(shù)的雷達(dá)屬性表示方法。

它通過雷達(dá)回波信號(hào)在各維度的波形參數(shù)來表征雷達(dá)屬性，從而有效克服了雷達(dá)具體細(xì)節(jié)的需要。

在此基礎(chǔ)上，該項(xiàng)工作提出了一種高效的神經(jīng)渲染方法-ICFAR-Net。

它以波形參數(shù)編碼的雷達(dá)屬性為條件，能夠捕獲由不同雷達(dá)配置引起的信號(hào)變化，從而有效生成不同雷達(dá)屬性下的雷達(dá)立方體（距離-方位-多普勒張量）。

研究人員介紹，SA-Radar提供了一條完整的雷達(dá)仿真管線，精心設(shè)計(jì)了從環(huán)境仿真到雷達(dá)立方體仿真的全過程。

環(huán)境仿真

在環(huán)境仿真中，研究者構(gòu)建了一個(gè)統(tǒng)一的反射環(huán)境張量。

該張量記錄了所有反射點(diǎn)在雷達(dá)立方體中回波信號(hào)對(duì)應(yīng)的離散位置和反射強(qiáng)度。

構(gòu)建過程可拆分為兩個(gè)階段：場(chǎng)景仿真和噪聲仿真。

對(duì)于場(chǎng)景仿真，研究過程中提供了多種傳感器設(shè)置來捕捉場(chǎng)景中的反射點(diǎn)和并定義其反射強(qiáng)度，包括激光雷達(dá)、相機(jī)和傳統(tǒng)雷達(dá)。

對(duì)于噪聲仿真，則通過在距離、方位角和多普勒三個(gè)維度上都隨機(jī)分布的反射點(diǎn)來模擬噪聲源（即把噪聲信號(hào)建模為來自噪聲反射點(diǎn)的雷達(dá)信號(hào)）。

雷達(dá)仿真

研究團(tuán)隊(duì)將雷達(dá)立方體建模為每個(gè)反射點(diǎn)上回波信號(hào)的疊加。

這使得可以在不需要獲得雷達(dá)具體細(xì)節(jié)的情況下，通過一個(gè)三維反射波形來表征雷達(dá)屬性。

進(jìn)一步地，團(tuán)隊(duì)提出了一種基于波形參數(shù)的雷達(dá)屬性表示方法，通過三維反射波形在不同維度的波形參數(shù){σ, g, Rs, λ}來直觀地表征雷達(dá)屬性。

在此基礎(chǔ)上，研究團(tuán)隊(duì)設(shè)計(jì)了ICFAR-Net，這是一種基于波形參數(shù)編碼的3D U-Net，能夠捕捉不同雷達(dá)配置引起的信號(hào)變化，并準(zhǔn)確生成對(duì)應(yīng)的雷達(dá)立方體（距離-方位-多普勒張量），如下圖所示。

與此同時(shí)，團(tuán)隊(duì)構(gòu)建了一個(gè)帶有豐富雷達(dá)屬性注釋的混合數(shù)據(jù)集，以確保ICFAR-Net穩(wěn)定訓(xùn)練，極大地增強(qiáng)了ICFAR-Net對(duì)不同種雷達(dá)的仿真能力。

為了測(cè)試上述研究成果，研究人員在多個(gè)下游任務(wù)上——包括2D/3D目標(biāo)檢測(cè)和雷達(dá)語(yǔ)義分割等，進(jìn)行了廣泛評(píng)估。

結(jié)果表明，SA-Radar的模擬數(shù)據(jù)既逼真又有效，無論是單獨(dú)使用還是與真實(shí)數(shù)據(jù)結(jié)合使用，都能持續(xù)提升模型性能。

此外，如文章開頭所示，SA-Radar還支持在新的傳感器視角和可編輯場(chǎng)景中進(jìn)行仿真。

精度和效率較現(xiàn)有方法顯著提升

實(shí)驗(yàn)結(jié)果表明，此方法在雷達(dá)仿真的質(zhì)量和效率方面都優(yōu)于已有方法，并顯著增強(qiáng)了下游任務(wù)，包括2D/3D目標(biāo)檢測(cè)和多視圖語(yǔ)義分割。

如下表所示，這一方法的仿真誤差明顯更小，尤其是全局平均誤差。

效率方面，雷達(dá)仿真時(shí)間在0.036s左右，要遠(yuǎn)遠(yuǎn)快于RadSimReal和傳統(tǒng)的物理模擬（一般至少花費(fèi)5s）。

此外，這個(gè)方法的大部分時(shí)間成本在于反射環(huán)境張量E的生成，但也只需要0.26s左右。

下圖則展示了仿真結(jié)果和真實(shí)雷達(dá)立方體的比較，新方法的仿真結(jié)果與真實(shí)雷達(dá)立方體高度相似（包括噪聲區(qū)域）。

團(tuán)隊(duì)也通過多種不同的下游任務(wù)來驗(yàn)證SA-Radar仿真數(shù)據(jù)的有效性。

為了排除場(chǎng)景多樣性導(dǎo)致的增益，只在RADDet和Carrada的訓(xùn)練集場(chǎng)景上生成仿真數(shù)據(jù)，數(shù)據(jù)量大約為原始數(shù)據(jù)的兩倍。

下面是各任務(wù)上的實(shí)驗(yàn)結(jié)果。

2D目標(biāo)檢測(cè)和多視圖語(yǔ)義分割

在比較簡(jiǎn)單的任務(wù)上，如2D目標(biāo)檢測(cè)和多視圖語(yǔ)義分割，即使僅使用此次提供的仿真數(shù)據(jù)，其效果優(yōu)于使用真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練的效果。

同時(shí)，該模型在仿真數(shù)據(jù)和真實(shí)數(shù)據(jù)的聯(lián)合訓(xùn)練下取得了最佳性能。

3D目標(biāo)檢測(cè)

團(tuán)隊(duì)的仿真數(shù)據(jù)訓(xùn)練的模型實(shí)現(xiàn)了接近真實(shí)數(shù)據(jù)集訓(xùn)練的性能，而聯(lián)合訓(xùn)練的模型實(shí)現(xiàn)了最佳性能。

換句話說，SA-Radar團(tuán)隊(duì)的仿真數(shù)據(jù)在三維尺度上被證明是有價(jià)值的，能在復(fù)雜任務(wù)上對(duì)真實(shí)數(shù)據(jù)穩(wěn)定提供增益。

更多可視化比較結(jié)果如下：

完全使用真實(shí)數(shù)據(jù)訓(xùn)練的模型在SA-Radar團(tuán)隊(duì)的仿真數(shù)據(jù)上依然能夠?qū)崿F(xiàn)相當(dāng)?shù)男阅埽@證明了其物理合理性。

此外，團(tuán)隊(duì)也在NuScene上探究了SA-Radar在沒有見過的傳感器和場(chǎng)景上的表現(xiàn)，進(jìn)一步驗(yàn)證了SA-Radar在該情況下也能魯棒地能夠仿真物理可靠的雷達(dá)數(shù)據(jù)。

論文鏈接：https://arxiv.org/abs/2506.03134

Github：https://github.com/zhuxing0/SA-Radar

項(xiàng)目主頁(yè)：https://zhuxing0.github.io/projects/SA-Radar