IC-Portrait：打造逼真個性化肖像的新紀元
在數字內容創作、虛擬形象、游戲和增強現實等領域，肖像生成已成為計算機圖形學研究的熱點。盡管近年來肖像生成模型取得了顯著進展，能夠生成越來越逼真和吸引人的肖像，但仍面臨諸多挑戰。
今天，給大家介紹一種個性化肖像生成框架IC-Portrait，該框架引入了一種創建逼真肖像圖像的創新方法。通過結合風格參考圖像，該以生成個性化肖像，保持視角一致，并準確響應光照條件。
相關鏈接
- 論文：http://arxiv.org/abs/2501.17159v1
- 視頻：https://www.youtube.com/watch?v=By-y3IH6ejM
研究背景
肖像生成方法大致可分為兩類：基于提示的樣式化和基于參考圖像的肖像生成。基于提示的樣式化允許用戶通過描述性文本提示來引導生成，但這種方法在保持主體身份特征方面存在挑戰。而基于參考圖像的肖像生成則直接利用現有圖像定義所需樣式，僅改變身份特征，為用戶提供更直觀的界面。然而，現有的肖像生成方法在處理多樣化的用戶照片（如不同的表情、光照條件和妝容）時仍顯不足，導致生成的肖像在身份相似度和質量上有所欠缺。
IC-Portrait框架
在不同的側面圖像中呈現出不同的表情和妝容，展現了人類側面的多樣性。
IC-Portrait框架核心是預訓練的擴散模型在上下文中密集對應匹配方面學習迅速，這為其兩大設計提供了靈感。具體來說，IC-Portrait將肖像生成重新表述為兩個子任務：
- 光照感知拼接：研究發現，對輸入圖像進行高度遮擋處理（例如80%）可以非常有效地學習參考圖像的光照條件，從而生成與參考圖像光照一致性的肖像。
- 視圖一致性適應：利用合成的視圖一致資料集來學習上下文中的對應關系，使得參考輪廓能夠被變形到任意姿勢，從而提供強大的空間對齊視圖調節。
通過簡單地連接潛在變量形成類似ControlNet的監督和建模方式，將這兩種設計結合起來，IC-Portrait顯著增強了身份保持的準確度和穩定性。
實驗與評估
與當前最先進的肖像生成方法比較
極端光照條件下 IC-Portrait 的結果。
IC-Portrait 的多人設置。IC-Portrait 通過按順序處理面部，固有地支持多人設置。
研究人員進行了廣泛的實驗評估，結果顯示，IC-Portrait在定量和定性評價中均優于現有的最先進方法，特別是在視覺質量方面有了特別明顯的改進。此外，IC-Portrait還展示了3D感知重光照的能力，進一步證明了其框架的有效性和靈活性。
總結
IC-Portrait框架為個性化肖像生成提供了新的解決方案，通過光照感知拼接和視圖一致性適應兩大設計，實現了幾乎無損的身份特征保留和光照不變性的肖像生成。這一創新性的框架不僅解決了個性化肖像生成中的諸多難題，還為數字內容創作、虛擬形象等領域帶來了新的可能。
