本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

原標(biāo)題：Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2404.04804.pdf

作者單位：克利夫蘭州立大學(xué) 德克薩斯大學(xué)奧斯汀分校 A*STAR 紐約大學(xué) 加州大學(xué)洛杉磯分校

論文思路：

自動(dòng)駕駛的視覺中心感知系統(tǒng)由于其成本效益和可擴(kuò)展性，特別是與激光雷達(dá)系統(tǒng)相比，最近受到了相當(dāng)多的關(guān)注。然而，這些系統(tǒng)在低光照條件下常常會(huì)遇到困難，可能會(huì)影響其性能和安全性。為了解決這個(gè)問題，本文介紹了LightDiff ，這是一個(gè)為自動(dòng)駕駛應(yīng)用中提升低光照?qǐng)D像質(zhì)量而設(shè)計(jì)的定制化框架。具體來說，本文采用了一個(gè)多條件控制的擴(kuò)散模型。LightDiff 無需人工收集的成對(duì)數(shù)據(jù)，而是利用動(dòng)態(tài)數(shù)據(jù)退化過程(dynamic data degradation process)。它結(jié)合了一個(gè)新穎的多條件適配器(multi-condition adapter)，該適配器能夠自適應(yīng)地控制來自不同模態(tài)的輸入權(quán)重，包括深度圖、RGB圖像和文本標(biāo)題，以有效地照亮黑暗場(chǎng)景的同時(shí)保持內(nèi)容的一致性。此外，為了使增強(qiáng)的圖像與檢測(cè)模型的知識(shí)相匹配，LightDiff 使用特定于感知的評(píng)分作為獎(jiǎng)勵(lì)，通過強(qiáng)化學(xué)習(xí)指導(dǎo)擴(kuò)散訓(xùn)練過程。在 nuScenes 數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，LightDiff 能夠顯著提高多個(gè)最新的3D檢測(cè)器在夜間條件下的性能，同時(shí)實(shí)現(xiàn)高視覺質(zhì)量評(píng)分，凸顯了其在保障自動(dòng)駕駛安全方面的潛力。

主要貢獻(xiàn)：

? 本文提出了 Lighting Diffusion (LightDiff) 模型，以增強(qiáng)自動(dòng)駕駛中的低光照相機(jī)圖像，減少了對(duì)大量夜間數(shù)據(jù)收集的需求，并保持了白天的性能。

? 本文整合了包括深度圖和圖像標(biāo)題在內(nèi)的多種輸入模態(tài)，并提出了一個(gè)多條件適配器，以確保圖像轉(zhuǎn)換中的語(yǔ)義完整性，同時(shí)保持高視覺質(zhì)量。本文采用了一種實(shí)用的過程，從白天數(shù)據(jù)生成晝夜圖像對(duì)，以實(shí)現(xiàn)高效的模型訓(xùn)練。

? 本文為 LightDiff 提出了一種使用強(qiáng)化學(xué)習(xí)的微調(diào)機(jī)制，結(jié)合了為感知定制的領(lǐng)域知識(shí)（可信的激光雷達(dá)和統(tǒng)計(jì)分布的一致性），以確保擴(kuò)散過程既有利于人類視覺感知，也有利于感知模型。

? 在 nuScenes 數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，LightDiff  顯著提高了夜間3D車輛檢測(cè)的性能，并在多個(gè)視覺指標(biāo)上超越了其他生成模型。

網(wǎng)絡(luò)設(shè)計(jì)：

圖1。夜間駕駛場(chǎng)景比白天更具有致命威脅。夜間的致命率要高得多[4]。本文旨在增強(qiáng)夜間圖像，以提高夜間駕駛的整體安全性。

如圖1所示，夜間駕駛對(duì)于人類來說是具有挑戰(zhàn)性的，對(duì)于自動(dòng)駕駛汽車來說更是如此。2018年3月18日，一起災(zāi)難性的事件突顯了這一挑戰(zhàn)，當(dāng)時(shí) Uber Advanced Technologies Group 的一輛自動(dòng)駕駛汽車在亞利桑那州撞擊并致死了一名行人[37]。這起事件是由于車輛未能在低光照條件下準(zhǔn)確檢測(cè)到行人而引起的，它將自動(dòng)駕駛汽車的安全問題推到了前沿，尤其是在這樣要求苛刻的環(huán)境中。隨著以視覺為中心的自動(dòng)駕駛系統(tǒng)越來越多地依賴于相機(jī)傳感器，解決低光照條件下的安全隱患已經(jīng)變得越來越關(guān)鍵，以確保這些車輛的整體安全。

一種直觀的解決方案是收集大量的夜間駕駛數(shù)據(jù)。然而，這種方法不僅勞動(dòng)密集、成本高昂，而且由于夜間與白天圖像分布的差異，還有可能損害白天模型的性能。為了應(yīng)對(duì)這些挑戰(zhàn)，本文提出了 Lighting Diffusion （LightDiff ）模型，這是一種新穎的方法，它消除了手動(dòng)數(shù)據(jù)收集的需求，并保持了白天模型的性能。

LightDiff 的目標(biāo)是增強(qiáng)低光照相機(jī)圖像，提高感知模型的性能。通過使用動(dòng)態(tài)的低光照衰減過程，LightDiff 從現(xiàn)有的白天數(shù)據(jù)生成合成的晝夜圖像對(duì)進(jìn)行訓(xùn)練。接著，本文采用了 Stable Diffusion [44]技術(shù)，因?yàn)樗軌虍a(chǎn)生高質(zhì)量的視覺效果，有效地將夜間場(chǎng)景轉(zhuǎn)換成白天的等效物。然而，在自動(dòng)駕駛中保持語(yǔ)義一致性至關(guān)重要，這是原始 Stable Diffusion 模型面臨的一個(gè)挑戰(zhàn)。為了克服這一點(diǎn)，LightDiff 結(jié)合了多種輸入模態(tài)，例如估計(jì)的深度圖和相機(jī)圖像標(biāo)題，配合一個(gè)多條件適配器。這個(gè)適配器智能地確定每種輸入模態(tài)的權(quán)重，確保轉(zhuǎn)換圖像的語(yǔ)義完整性，同時(shí)保持高視覺質(zhì)量。為了引導(dǎo)擴(kuò)散過程不僅朝著對(duì)人類視覺更亮的方向，而且對(duì)感知模型也是如此，本文進(jìn)一步使用強(qiáng)化學(xué)習(xí)對(duì)本文的 LightDiff 進(jìn)行微調(diào)，循環(huán)中加入了為感知量身定制的領(lǐng)域知識(shí)。本文在自動(dòng)駕駛數(shù)據(jù)集nuScenes [7]上進(jìn)行了廣泛的實(shí)驗(yàn)，并證明了本文的 LightDiff 可以顯著提高夜間3D車輛檢測(cè)的平均精度（AP），分別為兩個(gè)最先進(jìn)模型BEVDepth [32]和BEVStereo [31]提高了4.2%和4.6%。

圖2. 本文的 Lighting Diffusion 模型（LightDiff ）的架構(gòu)。在訓(xùn)練階段，一個(gè)訓(xùn)練數(shù)據(jù)生成流程使得無需任何人工收集的配對(duì)數(shù)據(jù)就能獲取三模態(tài)數(shù)據(jù)。本文的 LightDiff 使用了一個(gè)多條件適配器來動(dòng)態(tài)加權(quán)多種條件，結(jié)合激光雷達(dá)和分布獎(jiǎng)勵(lì)建模（LDRM），允許以感知為導(dǎo)向的控制。

圖3. 本文的訓(xùn)練數(shù)據(jù)生成流程。低光照退化轉(zhuǎn)換[9]僅在訓(xùn)練階段實(shí)施。訓(xùn)練好的深度估計(jì)網(wǎng)絡(luò)將被凍結(jié)，用于本文 Lighting Diffusion 模型的訓(xùn)練和測(cè)試階段。

圖4. 循環(huán)照明推理(Recurrent Lighting Inference)的示意圖。其設(shè)計(jì)旨在提高生成文本提示和深度圖的精確度，從而減輕對(duì)暗圖像的不利影響。

實(shí)驗(yàn)結(jié)果：

圖5. 在 nuScenes 驗(yàn)證集中的夜間圖像示例上的視覺對(duì)比。

圖6. 在 nuScenes 驗(yàn)證集中的夜間圖像示例上的三維檢測(cè)結(jié)果可視化。本文使用 BEVDepth [32] 作為三維檢測(cè)器，并可視化相機(jī)的正視圖和鳥瞰圖（Bird’s-Eye-View）。

圖7. 展示本文的 LightDiff  在有無多條件適配器（MultiCondition Adapter）的情況下的視覺效果。ControlNet [55]的輸入保持一致，包括相同的文本提示和深度圖。多條件適配器在增強(qiáng)過程中實(shí)現(xiàn)了更好的顏色對(duì)比和更豐富的細(xì)節(jié)。

圖8. 不同模態(tài)輸入的注意力圖示例。

圖9. 通過循環(huán)照明推理（Recurrent Lighting Inference, ReLI）增強(qiáng)多模態(tài)生成的示意圖。通過調(diào)用一次 ReLI，提高了文本提示和深度圖預(yù)測(cè)的準(zhǔn)確性。

總結(jié)：

本文介紹了 LightDiff ，這是一個(gè)為自動(dòng)駕駛應(yīng)用設(shè)計(jì)的、針對(duì)特定領(lǐng)域的框架，旨在提高低光照環(huán)境下圖像的質(zhì)量，減輕以視覺為中心的感知系統(tǒng)所面臨的挑戰(zhàn)。通過利用動(dòng)態(tài)數(shù)據(jù)退化過程(dynamic data degradation process)、針對(duì)不同輸入模態(tài)的多條件適配器，以及使用強(qiáng)化學(xué)習(xí)的感知特定評(píng)分引導(dǎo)獎(jiǎng)勵(lì)建模，LightDiff  顯著提升了 nuScenes 數(shù)據(jù)集夜間的圖像質(zhì)量和3D車輛檢測(cè)性能。這一創(chuàng)新不僅消除了對(duì)大量夜間數(shù)據(jù)的需求，還確保了圖像轉(zhuǎn)換中的語(yǔ)義完整性，展示了其在提高自動(dòng)駕駛場(chǎng)景中的安全性和可靠性方面的潛力。在沒有現(xiàn)實(shí)的成對(duì)晝夜圖像的情況下，合成帶有車燈的暗淡駕駛圖像是相當(dāng)困難的，這限制了該領(lǐng)域的研究。未來的研究可以集中在更好地收集或生成高質(zhì)量訓(xùn)練數(shù)據(jù)上。

引用：

@ARTICLE{2024arXiv240404804L,
author = {{Li}, Jinlong and {Li}, Baolu and {Tu}, Zhengzhong and {Liu}, Xinyu and {Guo}, Qing and {Juefei-Xu}, Felix and {Xu}, Runsheng and {Yu}, Hongkai},
title = "{Light the Night: A Multi-Condition Diffusion Framework for Unpaired Low-Light Enhancement in Autonomous Driving}",
journal = {arXiv e-prints},
keywords = {Computer Science - Computer Vision and Pattern Recognition},
year = 2024,
month = apr,
eid = {arXiv:2404.04804},
pages = {arXiv:2404.04804},
doi = {10.48550/arXiv.2404.04804},
archivePrefix = {arXiv},
eprint = {2404.04804},
primaryClass = {cs.CV},
adsurl = {https://ui.adsabs.harvard.edu/abs/2024arXiv240404804L},
adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}