耶魯大學和Adobe提出SynthLight：智能重塑人像照明，打造完美光影
耶魯大學和Adobe提出一種用于人像重新照明的擴散模型SynthLight，該方法將圖像重新照明視為重新渲染問題，其中像素會根據環境照明條件的變化而變化。在真實肖像照片上可以產生逼真的照明效果，包括頸部的明顯投射陰影和皮膚上的自然鏡面高光。
相關鏈接
- 論文：http://arxiv.org/abs/2501.09756v1
- 主頁：https://vrroom.github.io/synthlight/
論文介紹
SynthLight 是一種用于人像重新照明的擴散模型。該方法將圖像重新照明視為重新渲染問題，其中像素會根據環境照明條件的變化而變化。使用基于物理的渲染引擎，我們合成一個數據集，以在不同照明下使用 3D 頭部資產模擬這種照明條件下的轉換。我們提出了兩種訓練和推理策略來彌合合成圖像域和真實圖像域之間的差距：
- 利用沒有照明標簽的真實人物肖像的多任務訓練；
- 基于無分類器指導的推理時間擴散采樣程序，利用輸入肖像更好地保留細節。
我們的方法推廣到各種真實照片并產生逼真的照明效果，包括鏡面高光和投射陰影，同時保留主體的身份。我們對 Light Stage 數據的定量實驗表明結果可與最先進的重新照明方法相媲美。我們對野外圖像的定性結果展示了豐富且前所未有的照明效果。
方法
SynthLight 的訓練管道。 我們首先通過使用合成的重新照明元組訓練擴散主干（任務 1，頂行）來啟用重新照明建模。為了進一步緩解合成圖像域和真實圖像域之間的域差距，我們包括文本到圖像任務的聯合訓練。提出的模型基于LDM，由 VAE 和 UNet 組成。
我們在推理過程中采用圖像調節無分類器指導，以在身份保存和重新照明效果之間實現比例平衡。最終分數估計值按公式 (2) 計算。
輸入肖像指導參數 λI 的影響：我們展示 (a) 輸入肖像，(b) 光照條件和在 Blender 中以相同光照渲染的參考圖像，以及 (c) 具有不同 λI 的輸出。(d) 突出顯示 λI = 1，相當于刪除推理時間適應，改變了眼睛形狀（紅色矩形）。(e) 表明較高的 λI 會引入不受歡迎的光照偽影，例如來自輸入肖像的陰影偽影（黃色矩形）。
結果
(a) 我們的方法展示了在室外（左）和室內（右）環境中有效重新照亮拍攝對象的能力。在室外場景中，由于面部特征和眼鏡的自我遮擋，會產生強烈的投射陰影（見插圖）。對于室內場景，我們的方法可以處理復雜的照明條件，例如在輸入肖像上投射霓虹燈。
(b) 我們的方法可以捕捉肖像中有趣的燈光效果，合成精細的細節，例如眼睛中的捕捉光以實現逼真的重新照明（左，見插圖） 以及在強背光條件下（例如陽光）耳朵中的次表面散射（右，見插圖）。
野外肖像結果：我們顯示輸入肖像、環境地圖、在 Blender 中渲染的參考圖像和基線比較。DiLightNet 顯示了其管道核心 3D 重建失敗造成的偽影。Neural Gaffer 未在人類肖像上進行訓練，因此在重新點亮的臉上會生成不準確的陰影輪廓。IC-Light 由于選擇背景作為照明條件而難以重新點亮。Total Relighting 和 SwitchLight 在光照階段數據上進行訓練，即使在強烈的陽光下也能產生柔和的陰影并改變膚色。相比之下，我們的方法在保留主體身份的同時實現了卓越的重新點亮。
背景與環境圖作為照明條件：背景提供的照明線索有限，導致背景條件模型產生不準確的照明（請注意 (1)-(c) 中的錯誤照明方向）。即便如此，通過利用我們的合成人臉數據集，背景條件模型能夠生成合理的照明，其特點是強烈的投射陰影，而 IC-Light 等協調方法則達不到要求。請參閱圖 7 第 3 行了解輸入肖像。
結論
SynthLight是一種人像補光擴散模型，它可以重新照亮自然場景中的圖像，同時僅從合成數據中獲取照明監督。它強調了使用合成數據實現可信人像補光的潛力，可實現有趣的照明效果，例如強烈的投射陰影、捕捉眼睛中的光線和相互反射。
