CVPR最有趣論文 | 再模糊的照片AI都可以可以恢復
生活中，我們都會遇到圖片模糊狀態(tài)下，很早之前我們是不可能恢復；之后通過PS進行修復，也會有畸形或者差異的表現；但是，現在AI可以準確完整的恢復出blind face。
一、簡要
B lind face 通常依賴于facial priors，如facial geometry prior或reference prior，來恢復現實和真實的細節(jié)。然而，當高質量的參考無法訪問時，非常低質量的輸入不能提供精確的幾何先驗，這限制了在現實場景中的適用性。
所以，有研究者提出了GFP-GAN，它利用封裝在預先訓練好的人臉GAN中的豐富多樣的先驗來進行blind face恢復。該Generative Facial Prior(GFP)通過新的信道分裂空間特征變換層融入到人臉修復過程中，使新方法能夠實現真實度和保真度的良好平衡。由于強大的 GFP 和精細的設計，GFP-GAN可以通過一次共同恢復面部細節(jié)和增強顏色，而GAN inversion methods在推理時需要昂貴的特定圖像優(yōu)化。大量的實驗表明，新方法在合成數據集和真實數據集上都取得了優(yōu)于現有技術的性能。
二、效果先知道
HiFaceGAN [ 69 ]： Lingbo Yang, Chang Liu, Pan Wang, Shanshe Wang, Peiran Ren, Siwei Ma, and Wen Gao. Hifacegan: Face renovation via collaborative suppression and replenishment. ACM Multimedia, 2020
DFDNet [ 46 ]： Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo, and Lei Zhang. Blind face restoration via deep multi-scale component dictionaries. In ECCV, 2020
Wan et al. [ 63 ]： Ziyu Wan, Bo Zhang, Dongdong Chen, Pan Zhang, Dong Chen, Jing Liao, and Fang Wen. Bringing old photos back to life. In CVPR, 2020
PULSE [ 54 ]： Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, and Cynthia Rudin. Pulse: Self-supervised photo upsampling via latent space exploration of generative models. In CVPR, 2020
在本研究中，研究者利用GFP來進行現實世界的盲臉恢復，即先驗隱式封裝在預先訓練的人臉生成對抗網絡(GAN)模型中，如StyleGAN。這些face GANs能夠產生具有高度變化的 faithful faces，從而提供豐富多樣的先驗，如幾何，面部紋理和顏色，使它能夠共同恢復面部細節(jié)和增強顏色（如上圖)。
然而，將這種生成先驗納入恢復過程中是具有挑戰(zhàn)性的。以前的嘗試通常使用GAN inversion。他們首先將降級的圖像“倒置”回預先訓練好的GAN的 latent code，然后進行昂貴的特定于圖像的優(yōu)化來重建圖像。盡管在視覺上有真實的輸出，但它們通常會產生低保真度的圖像，因為低維的 latent code不足以引導精確的恢復。
三、新框架
GFP-GAN 框架的概述：它包括一個degradation removal模塊和一個預先訓練好的face GAN作為 facial prior。它們由latent code映射和幾個Channel-Split Spatial Feature Transform(CSSFT)層。所提出的CS-SFT調制實現了良好的保真度和保真度平衡。在訓練過程中，使用1）Pyramid restoration引導來消除現實世界中復雜的退化，2）Facial component損失和識別器來增強面部細節(jié)，3） identity preserving損失以保持面部身份。
Adversarial Loss
Facial Component Loss
Identity Preserving Loss
總體模型目標是上述損失的組合：
訓練數據
和之前大部分工作類似，GFP-GAN采用了Synthetic數據的訓練方式。研究者們發(fā)現在合理范圍的Synthetic數據上訓練, 能夠涵蓋大部分的實際中的人臉。GFP-GAN的訓練采用了經典的降質模型, 即先高斯模糊, 再降采樣 , 然后加噪聲, 最后使用JPEG壓縮。
四、實驗及效果可視化
在Synthetic的量化 指標上, 該研究提出的方法在LPIPS、FID、 NIQE都能夠取得最好的結果，Deg.是指人臉識別 模型ArcFace的Cosine距離, 較小的值說明identity也保持的很好。
