重溫昔日美好瞬間!AI技術幫你修復老舊照片!
本篇介紹一款開源的AI技術(2021年發布的),可以幫助你修復老舊照片,讓你重溫昔日美好瞬間!
在線免費體驗網站:https://huggingface.co/spaces/akhaliq/GFPGAN
因為這個模型比較大,需要大量的計算資源,特別是GPU資源,而且還是免費的,所以不知道什么時候會被關閉。現在用的人少,所以這個在線體驗還能免費用。
什么是GFPGAN
實現該修復背后用的是GFPGAN算法。GFPGAN 是騰訊開源的人臉修復算法,它利用預先訓練好的面部GAN(如StyleGAN2)中封裝的豐富和多樣的先驗因素進行盲臉(blind face) 修復,旨在開發用于現實世界人臉修復的實用算法。
https://github.com/TencentARC/GFPGAN
演示
挑選了一張老舊照片,看看修復效果如何。
特地挑了一張巨模糊的照片。
修復后的效果:
那么 GFP-GAN 如此強大的效果是怎么實現的呢?研究人員受到 StyleGAN2 的啟發:
既然 GAN 已經能生成如假亂真的圖片,那么它所包含的面部信息,是不是也能幫助人臉修復呢?由此,在 GFP-GAN 的模型框架中,主要用到了一個退化清除模塊和一個預訓練的 GAN 作為先驗。
兩個模塊通過隱編碼映射和多個信道分割空間特征變化層(CS-SFT)連接。
訓練過程中,首先要對低質量人臉進行降噪等粗處理,然后保留面部信息。
在保真度方面,研究人員引入了一個面部損失( Facial Component Loss),判斷哪些細節需要提升保留,然后再用識別保留損失(Identity Preserving Loss)進行修復。
最近大火的AI繪圖領域的Stable Diffusion也是用到了GFPGAN。參考下面的依賴包文件第六行 https://github.com/AUTOMATIC1111/stable-diffusion-webui/blob/master/requirements.txt