一鍵還原百年老電影、黑白舊照片本色
黑白老照片上色已經(jīng)不足為奇了，但是讓黑白老電影還原彩色還是非常新鮮有趣的意見(jiàn)事情。近日，Twitter 上有一位小哥研究了一個(gè)名為 DeOldify 的工具，可以讓黑白老電影以及老照片復(fù)原其本色。
誰(shuí)說(shuō)經(jīng)典只屬于黑白？
最近，一位名叫 Jason Antic 的小哥在 Twitter 上大火了一把，他創(chuàng)建的 DeOldify 工具，可以讓過(guò)去的黑白視頻和照片秒變彩色。
這個(gè)神器一出，可把網(wǎng)友們高興壞了，紛紛開始玩兒了起來(lái)。目前在 GitHub 上 5800+ 星，相當(dāng)火爆！
卓別林的電影瞬間年輕、有“味道”了許多。
1960 年的經(jīng)典電影《Psycho》：
1936 年的經(jīng)典電影《Reefer Madness》：
1927 年的經(jīng)典電影《Metropolis》：
DeOldify 不僅能讓視頻恢復(fù)色彩，還能讓黑白老照片秒變彩照。
《移民母親》，Migrant Mother by Dorothea Lange (1936)：
"Toffs and Toughs" by Jimmy Sime (1937)：
這些黑白的視頻和照片，當(dāng)換上了彩色的“衣服”時(shí)，不得不說(shuō)拉近了與我們的距離，并不覺(jué)得那么得有年代感了。
讀者們可以手動(dòng)試試為黑白老照片添色了！地址如下：
https://colorize.cc/
只需要從本地上傳或者添加圖片的鏈接，輸入郵箱即可收到，非常的方便。
新智元便試了一下“慈禧太后”的黑白照，結(jié)果如下：
可以說(shuō)，是相當(dāng)?shù)谋普媪耍?/p>
神奇的 DeOldify 背后的利器：NoGAN
作者在 GitHub 中提到，DeOldify 中至關(guān)重要的就是 NoGAN。NoGAN 訓(xùn)練結(jié)合了 GAN 訓(xùn)練的優(yōu)點(diǎn)(絢爛的色彩)，同時(shí)消除了令人討厭的副作用(如視頻中閃爍的物體)。作者表示視頻是使用孤立的圖像生成，沒(méi)有任何形式的時(shí)間建模附加。該過(guò)程執(zhí)行 30-60 分鐘的 GAN 部分的“NoGAN”訓(xùn)練，一次使用1% 到3% 的 imagenet 數(shù)據(jù)。然后，與靜態(tài)圖像著色一樣，在重建視頻之前，對(duì)單個(gè)幀進(jìn)行“去舊化”。
除了提高視頻的穩(wěn)定性，還有一件有趣的事情值得一提。事實(shí)證明，運(yùn)行的模型，甚至是不同的模型和不同的訓(xùn)練結(jié)構(gòu)，都或多或少地得出相同的解決方案。你可能認(rèn)為有些東西的顏色是隨意的、不可知的，比如衣服的顏色、汽車的顏色，甚至是特效(就像《大都會(huì)》里看到的那樣)。
作者對(duì)此的猜測(cè)是這些模型正在學(xué)習(xí)一些有趣的規(guī)則，關(guān)于如何根據(jù)黑白圖像中出現(xiàn)的細(xì)微線索來(lái)著色。這個(gè)結(jié)果導(dǎo)致了非常確定和一致的結(jié)果，這意味著你沒(méi)有跟蹤模型著色決策，因?yàn)樗鼈儾皇侨我獾摹４送猓鼈兛雌饋?lái)非常健壯，所以即使在移動(dòng)場(chǎng)景中渲染也是非常一致的。
那么 NoGAN 是什么呢？
這是作者開發(fā)的一種新型 GAN 訓(xùn)練模型，用來(lái)解決之前 DeOldify 模型中出現(xiàn)的一些關(guān)鍵問(wèn)題。
它提供了 GAN 訓(xùn)練的好處，同時(shí)花費(fèi)最少的時(shí)間進(jìn)行直接的 GAN 訓(xùn)練。在非常短的實(shí)際 GAN 訓(xùn)練期間，發(fā)生器不僅獲得了過(guò)去需要數(shù)天逐步調(diào)整大小的 GAN 訓(xùn)練的完全逼真的著色能力，而且它也幾乎沒(méi)有產(chǎn)生任何 GAN 的“副作用”。據(jù)作者介紹，這是一種非常有效的新技術(shù)。
下圖是原始 DeOldify 模型的效果，可以看出不同幀的顏色是存在差異的。
下面是基于 NoGAN 的 DeOldify 模型，可以看到著色效果非常好。
為什么是三個(gè)模型？
DeOldify 現(xiàn)在有三種型號(hào)模型可供選擇。每個(gè)都有關(guān)鍵優(yōu)勢(shì)和劣勢(shì)，因此具有不同的用例。
更多細(xì)節(jié)內(nèi)容可以訪問(wèn)查看 GitHub：
https://github.com/jantic/DeOldify/blob/master/README.md
