本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。

這項研究主要是針對如何智能控制圖像中的光照，采用了一種不需要重新訓練模型的新方法。簡而言之，研究人員利用一種叫作Retinex理論的方法，先識別出圖像中的光照元素，然后用這些元素來指導圖像生成模型。具體來說，就是通過設定燈光的類型和位置，調整生成的圖像的亮度、陰影和光照方向，而這一切都無需額外的數據支持。這意味著無論是創造新的圖像還是修整現有的圖像，用戶都能快速實現想要的光照效果，而且過程簡單易行。這種創新的做法大大提高了擴散模型在圖像生成過程中的靈活性和實用性。

相關鏈接

論文地址：https://arxiv.org/pdf/2407.20785v1

論文閱讀

Retinex-Diffusion:利用Retinex理論控制擴散模型中的光照條件

摘要

本文介紹了一種在擴散模型中處理光照操作的新方法，著重解決了光照條件下的間隙條件圖像生成問題。我們將擴散模型概念化為黑盒圖像渲染，并根據圖像形成模型有策略地分解其能量函數。該方法在生成過程中有效地分離和控制與光照相關的屬性。它生成具有逼真照明效果的圖像，包括投射陰影，軟陰影和相互反射。值得注意的是，它不需要學習內在分解，在潛在空間中尋找方向，也不需要對新數據集進行額外的訓練。

方法

我們的方法執行兩個任務:

• 它可以控制生成圖像的照明條件
• 它可以在realimages上應用新的照明條件。

為了完成這些任務，我們首先重新表述了擴散過程中的能量函數。然后介紹了圖像合成中的照明制導。最后，我們提出了真實圖像的幾何保留重照明。值得注意的是，這個管道不需要進一步訓練，也不需要額外的數據標簽或CGI技術。

效果

照明屬性引導圖像生成:每對列顯示生成的圖像及其相應的照明特征。最初的兩列表示沒有照明引導的原始圖像及其照明特征。隨后的欄目展示了在各種特定照明條件下生成的圖像，照明方向由球體表示。

不可見光源的照明效果控制。給定相同的照明方向提示，我們的方法能夠產生與光源強度相關的多種照明效果。

照明屬性引導圖像生成:每對列顯示生成的圖像及其相應的照明特征。由球體指示的照明方向。

在產生新的光照條件的背景下，最先進圖像與圖像擴散模型的視覺比較。

幾何保持圖像重光照:從左到右的順序顯示了原始輸入圖像、倒轉圖像和三種不同光照條件下的圖像重光照結果(分別表示為Relight 1、Relight 2和Relight 3)。這種順序證明了我們的方法在改變光照條件的同時保持幾何一致性的有效性。由球體指示的照明方向。

真實室內圖像重新照明對比

真實人臉圖像重光照對比

結論

我們提出了一種新穎的、基于物理的、無需訓練的方法，用于在擴散生成和真實圖像中操縱照明。該方法在圖像形成模型的基礎上，通過對擴散模型的能量函數進行改造，實現了光照條件下圖像的精確生成。我們的方法不需要任何類型的額外培訓或方向研究。它很容易嵌入到當前的擴散模型中。通過提示與照明相關的特征，擴散模型能夠為適當的照明條件(如打開燈和打開窗戶)生成/調整與照明相關的語義。

限制。 這種照明控制并不總是準確的，它與預訓練擴散模型的學習數據分布一致。今后需要對擴散模型的本征提取進行更深入的研究。