Magic Mirror：可從單個參考圖像生成電影級質量身份一致性和自然運動視頻
Magic Mirror 可以生成合成身份配對的視頻數據。該框架利用視頻擴散模型，能夠在保持身份一致性的同時，生成具有電影級質量和動態運動的視頻。
Magic Mirror 根據 ID 參考圖像生成文本轉視頻結果。每對視頻顯示 24 幀（總共 49 幀），其對應的面部參考顯示在左下角。
相關鏈接
- 論文：http://arxiv.org/abs/2501.03931v1
- 主頁：https://julianjuaner.github.io/projects/MagicMirror/
論文介紹
Magic Mirror 是一個用于生成具有電影級質量和動態運動的身份保留視頻的框架。雖然視頻擴散模型的最新進展在文本到視頻生成方面表現出了令人印象深刻的能力，但在產生自然運動的同時保持一致的身份仍然具有挑戰性。以前的方法要么需要針對個人進行微調，要么難以平衡身份保留與運動多樣性。
Magic Mirror基于視頻擴散變換器，引入了三個關鍵組件：
- 雙分支面部特征提取器，可同時捕獲身份和結構特征；
- 具有條件自適應規范化的輕量級跨模態適配器，可實現有效的身份集成；
- 結合合成身份對和視頻數據的兩階段訓練策略。
大量實驗表明Magic Mirror 有效地平衡了身份一致性和自然運動，在多個指標上優于現有方法，同時只需添加最少的參數。
Magic Mirror 可生成動態面部動作。由于身份保留約束較強，IDAnimator 和 Video Ocean 的運動范圍有限。Magic Mirror 在保持參考身份保真度的同時，實現了更加動態的面部表情。
方法
Magic Mirror 概述。 該框架采用雙分支特征提取系統，包括 ID 和面部感知器，然后是跨模態適配器，用于基于 DiT 的視頻生成。通過優化火焰標記的可訓練模塊，我們的方法可以有效地整合面部特征，實現受控的視頻合成，同時保持模型效率。
Magic Mirror的方法可分為以下幾個關鍵組成部分：
- 雙分支面部特征提取器：該組件同時提取身份特征和結構信息，確保在視頻生成中保持高水平的身份一致性。
- 輕量級跨模態適配器：該適配器集成到視頻擴散模型中，允許在生成過程中有效地結合面部特征和文本提示。
- 條件自適應歸一化（CAN）：此模塊用于在生成過程中動態調整面部特征的分布，確保在不同視頻幀之間保持一致的身份特征。
- 兩階段訓練策略：首先在圖像數據上進行預訓練，以學習穩健的身份表示，然后在視頻數據上進行微調，以確保面部表情的時間一致性。
DiT 塊中的跨模態適配器，具有條件自適應歸一化 (CAN)，用于特定模態的特征調制和解耦注意力整合。
訓練數據集概述。 管道包括圖像預訓練數據（A-D）和視頻后訓練數據（D）。利用自參考數據（A，B）和具有相同身份的過濾合成對（C，D）。報告了（圖像+合成圖像）的數量。
實驗
定性比較。 每個案例的左上角均顯示標題和參考身份圖像。
消融研究示例。 左：消融模塊。右：消融和訓練策略。
使用 Magic Mirror 生成圖像。圖像預訓練階段的模型會捕獲參考 ID 的 ID 嵌入（Ref-ID），但在某些低級分布（如圖像質量、風格和背景）上會出現過度擬合。
視頻生成結果。 結果展示了 Magic Mirror 在不同面部比例和構圖中的能力。
總結
Magic Mirror是一個用于身份保留視頻生成的零樣本框架。Magic Mirror 將雙人臉嵌入和條件自適應規范化 (CAN) 融入基于 DiT 的架構中。該方法可以實現強大的身份保留和穩定的訓練收斂。實驗表明Magic Mirror 可以從單個參考圖像生成高質量的個性化視頻，同時保持身份一致性，在多個基準和人工評估中的表現優于現有方法。
