?近年來，隨著深度學習的發展和大規模數據集的出現，深度學習在很多領域也取得了進展，但其中「人臉復原」（Face Restoration）任務仍然缺乏系統性的綜述。

最近，來自南京大學、澳大利亞國立大學、中山大學、帝國理工學院和騰訊的研究者們全面回顧并總結了基于深度學習的人臉復原技術的研究進展，對人臉復原方法進行了分類，討論了網絡架構、損失函數和基準數據集，并對現有SOTA方法進行了系統性性能評測。

論文鏈接：https://arxiv.org/abs/2211.02831

倉庫鏈接：https://github.com/TaoWangzj/Awesome-Face-Restoration

這篇文章也是人臉復原領域首篇綜述，其主要貢獻為：

1. 回顧了人臉復原任務中主要的退化模型、常用的評價指標，并總結了人臉圖像顯著性的特點；

2. 總結了目前人臉復原面臨的挑戰，對現有方法進行分類及概述。方法主要包括兩大類:基于先驗的深度學習復原方法和無先驗的深度學習復原方法；

3. 梳理了方法中使用的基本網絡架構、基本網絡模塊、損失函數和標準數據集；

4. 在公共基準數據集上對現有SOTA方法進行了系統性實驗評測；

5. 分析了人臉復原任務未來發展前景。

文章的整體架構

研究背景

人臉復原(Face Restoration, FR)是底層視覺中一個特定的圖像復原問題，旨在從低質量的輸入人臉圖像中恢復出高質量的人臉圖像。通常來說，退化模型可以描述為：

其中I(lq)是低質量人臉圖像， D是與噪聲不相關的退化函數， n是加性高斯噪聲。當退化函數D不同的時候，就對應了不同的退化模型。因此，FR任務可以視為是求解上述退化模型的逆過程，它可以表示為：

其中根據退化函數不同，人臉復原任務主要可以分為以下五大類，其分別對應著不同的退化模型：

1. 人臉去噪任務(Face Denoising, FDN)：去除人臉圖像中的噪聲，恢復出高質量的人臉；

2. 人臉去模糊任務(Face Deblurring, FDB)：去除人臉圖像中的模糊，恢復出高質量的人臉；

3. 人臉超分辨率任務(Face Super-Resolution, FSR)：從低質量的低分辨率人臉中恢復出高分辨率高質量的人臉；

4. 人臉去偽影任務(Face Artifact Removal, FAR)：去除人臉圖像壓縮過程中出現的偽影，恢復出高質量的人臉；

5. 盲人臉復原任務(Blind Face Restoration, BFR)：將未知退化的低質量人臉復原成高質量人臉；

人臉特點

與一般自然圖像的復原任務不同，人臉圖像具有很強的結構性信息，因此人臉復原任務可以利用人臉圖像的先驗信息來輔助人臉的復原過程，先驗信息主要可以分為以下三部分：

人的屬性信息：如性別，年齡，是否佩戴眼鏡，如下圖所示；

人的身份信息；

其他先驗信息：如下圖所示，代表性的先驗有人臉landmark，人臉熱圖，人臉解析圖和3D人臉先驗；

人臉復原面臨的主要挑戰

1. 人臉復原本身是一個不適定的問題。

因為低質量人臉圖像的退化類型和退化參數是事先未知的，從退化的圖像中估計高質量的人臉圖像是一個不適定問題。

另一方面，在實際場景中，人臉圖像的退化是復雜多樣的。因此，如何設計有效并且魯棒的人臉復原模型來解決這個不適定的問題具有一定的挑戰性。

2. 探索未知的人臉先驗較為困難。

現有人臉復原算法很難充分利用人臉先驗知識，因為人臉先驗（例如面部成分和面部標志）通常是從低質量人臉圖像中估計的，低質量的人臉可能造成先驗估計的不準確，這直接影響人臉復原算法的性能。

另一方面，真實場景拍攝的人臉圖像往往包含復雜多樣的退化類型，找到合適的人臉先驗來輔助人臉復原過程是非常困難的。因此，如何挖掘合理的人臉先驗具有一定的挑戰性。

3. 缺乏大型公開基準數據集。

隨著深度學習技術的發展，基于深度學習的方法在人臉復原方面表現出令人印象深刻的性能。大多數基于深度學習的人臉復原方法強烈依賴于大規模數據集來訓練網絡。

然而，目前大多數人臉復原方法通常在非公開數據集上訓練或測試的。因此，目前很難直接公平地比較現有人臉復原方法。

此外，缺乏高質量和大規模的基準限制了模型的潛力。然而，如何獲得大規模的人臉數據依然很困難，因此，為人臉復原任務構建合理的公開基準數據集有一定的挑戰性。

4. 人臉復原算法在實際場景下泛化能力有限。

盡管基于深度學習方法在人臉復原方面取得了較好的性能，但大多數方法是依賴監督策略進行訓練。

也就是說，這些方法需要成對的(低質量和高質量圖像對) 數據集，如果這個條件不滿足，它們性能會大幅度降低。

另一方面，很難在現實場景中收集到具有成對樣本的大規模數據集。因此，在合成數據集上訓練的算法在實際場景下泛化能力很弱，從而限制了模型在實際場景中的適用性。因此，如何提高人臉算法在實際場景下泛化能力具有一定的挑戰性。

人臉復原方法總結與分類

到目前為止，研究人員提出了許多人臉復原算法來嘗試解決上述的挑戰。下圖顯示了基于深度學習的人臉復原方法的一個簡明的里程碑。

如圖所示，自2015年以來，基于深度學習的人臉復原方法的數量逐年增加。

這些人臉復原方法分為兩類：基于先驗的深度學習復原方法和基于非先驗的深度學習復原方法。

而對于基于先驗的深度學習復原方法，我們將其分為三類: 基于幾何先驗的深度學習復原方法，基于參考先驗的深度復原方法和基于生成先驗的深度復原方法。

下面對具有代表性的人臉復原算法進行簡要介紹。

基于幾何先驗的深度復原方法（Geometric Prior Based Deep Restoration Methods）

該方法主要利用圖像中人臉獨特的幾何形狀和空間分布信息來幫助模型逐步恢復高質量的人臉。典型的幾何先驗有人臉landmark，人臉熱圖，面部解析圖和面部成分。代表性工作有：

SuperFAN：是第一個同時實現人臉超分辨率和人臉landmark定位任務的端到端方法。

這個方法的核心思路是使用聯合任務訓練策略來引導網絡學習更多的人臉幾何信息來輔助模型實現高效的人臉超分辨率和人臉landmark定位。

MTUN：是一個包含兩個分支網絡的人臉復原方法，其中第一個分支網絡用來實現人臉圖像的超分辨率，第二個分支用于估計面部組成的熱力圖。

這個方法表明，利用低質量人臉圖像中的人臉元素信息可以進一步提高算法人臉復原的性能。

PSFR-GAN：是一種基于多尺度漸進式網絡的盲人臉復原方法。這個方法的核心思路是通過使用多尺度低質量人臉圖像和人解析圖作為輸入，通過語義感知風格轉換來逐步恢復出人臉的面部細節。

基于參考先驗的深度復原方法（Reference Prior Based Deep Restoration Methods

以往人臉復原方法只是依靠退化圖像來估計人臉先驗，然而人臉圖像退化過程通常是高度病態的，僅僅通過退化的圖像這些方法無法獲得準確的人臉先驗。

因此，另外一類方法通過使用額外的高質量人臉圖像來獲得的面部結構或面部成分字典作為人臉參考先驗來指導模型進行高效地人臉復原。代表性工作有：

GFRNet: 該網絡模型由一個扭曲網絡(WarpNet)和一個重構網絡(RecNet)。WarpNet是來提供扭曲引導信息，目的是通過生成流場對參考圖像進行扭曲來糾正面部的姿勢和表情。RecNet將低質量的圖像和扭曲的引導信息同時作為輸入來產生高質量的人臉圖像。

GWAInet: 這個工作是在GFRNet的基礎上提出的，它以對抗生成的方式進行訓練，以生成高質量的人臉圖像。與GFRNet相比，GWAInet在訓練階段不依賴人臉標記，這個模型更加關注整個人臉區域從而增加了模型的魯棒性。

DFDNet: 該方法首先利用K-means算法從高質量圖像中為感知上顯著的面部成分(即左/右眼睛、鼻子和嘴)生成深度字典；然后，從生成的組件字典中選擇最相似的組件特征，將細節轉移到低質量的人臉圖像中，指導模型進行人臉復原。

基于生成先驗的深度復原方法（Generative Prior Based Deep Restoration Methods）

隨著生成對抗網絡(GAN)的快速發展，研究發現，預訓練的人臉GAN模型，如StyleGAN、StytleGAN2能夠提供更加豐富的人臉先驗(如幾何和面部紋理)。

因此，研究人員開始利用GAN生成的先驗輔助模型進行人臉復原。代表性工作有：

PULSE: 這個工作核心是迭代優化預訓練StyleGAN的latent code, 直到輸出和輸入之間的距離低于閾值，從而實現高效的人臉超分辨率。

GFP-GAN: 這個工作利用預先訓練的GAN模型中豐富多樣的先驗作為生成先驗來指導模型進行盲人臉復原。這個方法主要包含一個降質去除模塊和一個基于預訓練GAN模型的先驗模塊，這兩個模塊通過一個latent code連接和幾個通道分割空間特征轉換層進行高效信息傳遞。

GPEN: 這個方法核心思路是有效整合GAN和DNN兩中不同的框架優勢實現高效的人臉復原。GPEN首先學習一個用于生成高質量人臉圖像的GAN模型；然后將這個預先訓練好的GAN模型嵌入到一個深度卷積網絡中作為先驗解碼器；最后通過微調這個深度卷積網絡實現人臉復原。

基于非先驗的深度復原方法：（Non-prior Based Deep Restoration Methods）

雖然大多數基于深度學習的人臉復原方法可以在人臉先驗的幫助下恢復滿意的人臉，但依賴于人臉先驗在一定程度上加劇了生成人臉圖像的成本。

為了解決這一問題，另外一類方法旨在設計一個端到端的網絡模型來直接學習低質量和高質量人臉圖像之間的映射函數，而不需要引入任何額外的人臉先驗。代表性工作有：

BCCNN: 一種用于人臉超分辨的雙通道卷積神經網絡模型。它由一個特征提取器和一個圖像生成器組成，其中特征提取器從低分辨率人臉圖像中提取魯棒的人臉表示而圖像生成器自適應地將提取的人臉表示與輸入的人臉圖像進行融合，生成高分辨率圖像。

HiFaceGAN: 這個方法將人臉復原問題轉化為語義引導的生成問題，并設計了HifaceGAN模型來實現人臉復原。這個網絡模型是一個包含多個協作抑制模塊和補充模塊的多階段框架，這種結構設計減少了模型對退化先驗或訓練結構的依賴性。

RestoreFormer: 這是一種基于Transformer的端到端人臉復原方法。它主要探索了對上下文信息建模的全空間注意力機制。

這個方法核心思路主要有兩點，第一個是提出了一個多頭交叉注意力層來學習損壞查詢和高質量鍵值對之間的全空間交互。第二點是，注意力機制中的key-value 對是從高質量字典中采樣獲得的，它蘊含高質量的人臉特征。

下圖全面地總結了近年來基于深度學習的人臉復原方法的特點。

其中Plain表示基于非先驗的深度復原方法，Facial component 和Geometric prior 表示基于幾何先驗的深度復原的兩類方法，Reference prior表示基于參考先驗的深度復原方法，Generative prior 表示基于非先驗的深度復原方法，Deep CNN, GAN, ViT分別表示模型使用深度卷積神經網絡，生成對抗網絡和Visual Transformer網絡結構。

技術發展回顧

這個部分全面地回顧了基于深度學習的人臉復原方法的技術發展過程，主要從以下幾個方面進行總結和分析：網絡模型的基本架構、使用的基本模塊、模型使用的損失函數和人臉相關的基準數據集。

網絡架構

現有基于深度學習的人臉復原方法的網絡架構主要分為三類：基于先驗引導的方法，基于GAN網絡結構的方法和基于ViT網絡結構的方法。因此，我們將在本節討論這些發展。

基于先驗引導的方法

這類方法主要可以分為四種，分別為基于前置先驗的人臉復原方法（Pre-prior face restoration method），聯合先驗估計和人臉復原的方法（Joint prior face restoration method），基于中間先驗的人臉復原方法（Pre-prior face restoration method），基于參考先驗的人臉復原方法（Reference-prior face restoration method）。

以上四種方法的簡明結構圖如下所示：

基于前置先驗的人臉復原方法通常先使用先驗估計網絡(如人臉先驗估計網絡或預訓練的人臉GAN模型)從低質量輸入圖像中估計人臉先驗，然后利用一個網絡利用人臉先驗和人臉圖像生成高質量的人臉。

典型的方法如下圖所示，研究人員設計了一個人臉解析網絡，先從輸入模糊人臉圖像中提取人臉語義標簽，然后將模糊圖像和人臉語義標簽同時輸入一個去模糊網絡中來生成清晰的人臉圖像。

聯合先驗估計和人臉復原方法主要是挖掘了人臉先驗估計任務和人臉復原任務之間的互補性關系。這類方法通常聯合訓練人臉復原網絡和先驗估計網絡，因此這類方法同時兼顧了兩個子任務的優點，這能直接提高人臉復原任務的性能。

典型的方法如下圖所示，研究人員提出了一種聯合人臉對齊和人臉超分辨率的網絡模型，該方法共同估計人臉的landmark 位置和超分辨率人臉圖像。

基于中間先驗的人臉復原方法的核心思路是首先使用一個復原網絡生成粗人臉圖像，然后從粗圖像中估計人臉先驗信息，這樣比直接從輸入的低質量的圖像可以獲得更精確的先驗信息。

典型的方法如下圖所示，研究人員提出了FSRNet網絡模型，這個模型在網絡中間進行人臉先驗估計。

具體的，FSRNet先用一個粗SR網絡對圖像進行粗恢復；然后分別用一個細SR編碼器和一個先驗估計網絡對粗結果圖像進行先驗估計和細化；最后將圖像細化特征和先驗信息同時輸入到一個精細SR解碼器，恢復出最終的結果。

基于GAN網絡結構的方法

這類方法主要分為兩種類型：基于樸素GAN架構的方法（Plain GAN method）和基于預訓練GAN嵌入式結構的方法（Pre-trained GAN embedding method）。

這兩種方法的簡明結構圖如下所示：

基于普通GAN架構的方法通常是在網絡模型中引入對抗性損失，然后使用對抗性學習策略來聯合優化判別器和生成器（人臉復原網絡），從而生成更加逼真的人臉圖像。

?典型的方法如下圖所示，研究人員提出了HLGAN網絡模型，這個模型由兩個生成對抗網絡組成。

第一個是 High-to-Low GAN網絡，它使用非成對的圖像進行訓練來學習高分辨率圖像的退化過程。第一個網絡的輸出（即低分辨率人臉圖像）被用來訓練第二個 Low-to-High GAN網絡，從而實現人臉超分辨率。

基于預訓練GAN嵌入式結構的方法的核心思路是利用預訓練的人臉GAN模型（如 StyleGAN）中的潛在先驗，然后將潛在先驗融合到人臉復原的過程中，借助于潛在先驗和對抗學習策略來實現高效的人臉復原。

典型的方法如下圖所示，研究人員設計了一個GFP-GAN 模型，這個模型主要包含一個降質去除模塊和一個基于預訓練GAN模型的先驗模塊，這兩個模塊通過一個latent code連接和幾個通道分割空間特征轉換層進行高效信息傳遞。

基于ViT網絡結構的方法

最近Visual Transformer (ViT)網絡架構在自然語言處理和計算機視覺等領域表現出了卓越的性能，這也啟發了Transformer 架構在人臉復原任務的應用。

典型的方法如下圖所示，基于Swin Transformer，研究人員提出了一種用于人臉復原的端到端Swin Transformer U-Net (STUNet)網絡。

在 STUNet 中，transformer模塊利用自注意力機制和移位窗口策略來幫助模型關注更多有利于人臉復原的重要特征，這個方法取得了良好的性能。

網絡模型中常用的模塊

在人臉復原領域，研究者們設計了各種類型的基礎模塊來構建出強大的人臉復原網絡。常用的基礎模塊如下圖所示，其中這些基礎模塊主要有殘差模塊（Residual Block），Dense模塊（Dense Block），注意力模塊（Channel attention block, Residual channel attention block, spatial attention block）和Transformer 模塊（Transformer block）。

損失函數

人臉復原任務中常見的損失函數主要有以下幾類：Pixel-wise loss (主要包括L1和L2損失), Perceptual loss, Adversarial loss, face-specific loss。各項人臉復原方法以及他們使用的損失函數總結在下表中：

數據集

人臉復原任務相關的公開數據集以及相關統計信息總結如下：

性能比較

本文總結并測試了一些具有代表性的人臉復原方法在PSNR/SSIM/MS-SSIM/LPIPS/NIQE等方面的性能

定量結果比較?

定性結果比較

方法復雜性比較

未來發展方向

盡管基于深度學習的人臉復原方法已經取得了一定的進展，但是仍然存在許多挑戰和未解決的問題。

網絡結構設計

對于基于深度學習的人臉復原方法，網絡結構可以對方法的性能產生顯著的影響。

例如，由于Transformer 架構的強大能力，最近的基于Transformer 的方法通常具有更好的性能。基于GAN的方法可以生成視覺上令人更加愉悅的人臉圖像。

因此，在設計網絡時，值得從不同的結構如CNN、GAN和ViT中進行學習和研究。

另一方面，最近基于Transformer的模型通常含有更大的參數，并且需要更高的計算成本，這使得它們難以部署在邊緣設備中。

因此，如何設計一個性能強大的輕量級網絡是未來工作的另一個潛在研究方向。

面部先驗與網絡的融合

作為特定領域的圖像復原任務，人臉特征可以用于人臉復原任務。在設計模型時，許多方法旨在利用人臉先驗來恢復真實的人臉細節。 

盡管一些方法試圖將幾何先驗、面部組件、生成先驗或3D先驗引入人臉復原的過程，但如何將先驗信息更加合理地集成到網絡中仍然是這個任務一個有前途的方向。

此外，進一步挖掘新的與人臉相關的先驗，例如來自預訓練GAN的先驗或網絡中的數據統計，也是這個任務的另一個方向。

損失函數和評價指標

對于人臉復原任務，廣泛使用的損失函數有 L1 損失、L2 損失、感知損失、對抗性損失和人臉特定損失，如表3所示。

現有方法通常不使用單個損失函數，而是將多個損失函數與相應的權重相結合訓練模型。但是，目前還不清楚如何設計更加合理的損失函數來指導模型訓練。

因此，在未來，預計會有更多的工作尋求更準確的損失函數（例如，通用或人臉任務驅動的損失函數），以促進人臉復原這個任務的發展。此外，損失函數可以直接影響模型的評估結果。如表 5、6和7所示，L1損失和L2損失在PSNR、SSIM和MS-SSIM 方面往往獲得更好的結果。

感知損失和對抗性損失往往會產生更令人愉悅的結果（即產生高 LPIPS、FID和NIQE值）。因此，如何開發能夠兼顧人和機器兩方面的指標進行模型性能更加合理地評估也是未來一個很重要的方向。

計算開銷

現有的人臉復原方法通常是通過顯著地增加網絡的深度或寬度來提高復原性能，而忽略了模型的計算成本。

繁重的計算成本阻止了這些方法在資源有限的環境中使用，例如移動或嵌入式設備。

例如，如表8所示，最先進的方法RestoreFormer 有72.37M參數量和340.80G MACs的計算量，這在現實世界的應用程序中部署它是非常困難的。因此，開發具有更少計算成本的模型是未來重要的方向。

基準數據集

與圖像去模糊、圖像去噪和圖像去霧等其他底層視覺任務不同，人臉復原的標準評估基準很少。

例如，大多數人臉復原方法通常在私有數據集上進行實驗（從FFHQ合成訓練集）。 

研究人員可能傾向于使用偏向于他們提出的方法的數據。另一方面，為了進行公平比較，后續工作需要花費大量時間來合成私有數據集并重新訓練其他比較方法。此外，最近廣泛使用的數據集規模通常較小，不適合深度學習方法。

因此，開發標準的基準數據集是人臉復原任務的一個方向。未來，我們期望社區的研究人員能夠構建更多標準和高質量的基準數據集。

視頻人臉復原

隨著手機和相機等移動設備的普及，視頻人臉復原任務變得越來越重要。然而，現有的工作主要集中在圖像人臉復原任務上，而視頻相關的人臉復原工作較少。

另一方面，視頻去模糊、視頻超分辨率和視頻去噪等其他底層視覺任務近年來發展迅速。

因此，視頻人臉復原是社區的一個潛在方向。視頻人臉復原任務可以從以下兩個方面來考慮。

首先，對于基準數據集，我們可以考慮為此任務構建高質量的視頻數據集，這可以快速促進視頻相關算法的設計和評估，這有利于人臉復原社區的發展；

其次，對于視頻復原方法，我們應該通過充分考慮連續視頻幀之間的空間和時間信息來開發基于視頻的人臉復原方法。

真實世界的人臉復原和應用

現有方法依靠合成數據來訓練網絡模型。然而，經過訓練的網絡不一定在現實世界的場景中表現出良好的泛化能力。

如圖19所示，大多數人臉復原方法在面對真實世界的人臉圖像時效果不佳。因為合成數據和現實世界數據之間存在很大的數據域差距。

盡管一些方法引入了一些解決方案來解決這個問題，例如無監督技術或學習真實圖像退化技術。然而，他們仍然依賴于一些特定的假設，即所有圖像都有類似的退化。

因此，現實世界的應用仍然是人臉復原任務的一個具有挑戰性的方向。

此外，一些方法表明，人臉恢復可以提高人臉驗證和人臉識別等后續任務的性能。然而，如何在一個框架中將人臉復原任務與這些任務結合起來也是未來的研究方向。

其他相關任務

除了上面討論的人臉復原任務，還有很多與人臉復原相關的任務，包括人臉修飾、照片素描合成、人臉到人臉翻譯、人臉修復、顏色增強和舊照片恢復。

例如，面部修復旨在通過匹配或學習來恢復面部圖像的缺失區域。它不僅需要在語義上為缺失的面部組件生成新的像素，而且還應該保持面部結構和外觀的一致性。老照片修復是修復老照片的任務，老照片的退化是相當多樣和復雜的（例如，噪點、模糊和褪色）。

此外，一些任務側重于面部風格遷移，例如人臉到人臉翻譯和面部表情分析，這與人臉復原任務不同。

因此，將現有的人臉復原的方法應用到這些相關任務中，也是一個很有前景的方向，這可以觸發更多的應用落地。

參考資料：https://arxiv.org/a?bs/2211.02831?