當(dāng)專業(yè)動(dòng)畫師用GAN幫自己“偷懶”,幾分鐘就完成了幾周的工作
本文經(jīng)AI新媒體量子位(公眾號(hào)ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)聯(lián)系出處。
當(dāng)視覺特效師與GAN強(qiáng)強(qiáng)聯(lián)手,做出來的動(dòng)畫會(huì)不會(huì)更好看?
答案是YES。
這是一位視覺特效師,用海外版抖音上超火的小姐姐Bella Poarch的視頻,生成的奧巴馬TikTok版動(dòng)畫:
不僅動(dòng)畫效果逼真,表情生動(dòng),GAN生成的人物也不會(huì)出現(xiàn)意外“脫模”的情況。
當(dāng)時(shí),這位專業(yè)動(dòng)畫師一接觸到AI,就看中了AI搞藝術(shù)的“本事”——用GAN將一個(gè)視頻中的人物動(dòng)畫化,只需要幾分鐘。
相比之下,如果用正常的軟件進(jìn)行動(dòng)畫制作,可能需要耗費(fèi)一個(gè)動(dòng)畫師幾周的時(shí)間。
不過,他很快發(fā)現(xiàn),現(xiàn)有的這些AI人臉動(dòng)畫化的模型,做出來的卡通形象實(shí)在太丑。
如下圖,此前用AI將安倍晉三動(dòng)畫化后,卡通人物的臉色看起來不太好……

△動(dòng)畫化后有點(diǎn)印堂發(fā)黑的詭異感
于是,他干脆自己上手,結(jié)合現(xiàn)有的GAN模型進(jìn)行優(yōu)化調(diào)整。
效果好極了!
不僅像是給正常的人臉加了美顏特效,卡通形象簡(jiǎn)直堪比迪士尼動(dòng)畫中的主角:

連奧巴馬都“返老還童”,比開了美顏看起來還年輕。

而且,任何人都能控制這些卡通人物的表情,即使是提前錄制好的視頻也可以。
那么,這樣的動(dòng)畫效果,到底是怎么做出來的?
遷移學(xué)習(xí)的妙用
這位視覺特效師,選擇了用一種特殊的方式制作好看的卡通人物形象。
他利用遷移學(xué)習(xí)生成了一個(gè)7×6的表格,根據(jù)遷移學(xué)習(xí)的強(qiáng)度來生成不同風(fēng)格的人臉。
也就是說,如果遷移學(xué)習(xí)強(qiáng)度越大,人物就會(huì)越接近卡通化,而遷移學(xué)習(xí)強(qiáng)度越小,人物就越接近真實(shí)形象。
可以看見,圖像越靠近左下角,人像就越真實(shí);而越靠近右上角,人物就更接近卡通化。

這樣,既能最大程度上保留人物的特點(diǎn),又能使卡通臉看起來更逼真。
而且AI還能根據(jù)“客戶需求”,判斷出更適合的人像,并進(jìn)行數(shù)據(jù)訓(xùn)練。
連尤金老爺子看起來都年輕了不少,甚至有點(diǎn)《飛屋環(huán)游記》里老爺爺?shù)拇认橐馕读恕?/p>

在這其中,視覺特效師利用了GAN來生成卡通人物的形象。
既能“性別轉(zhuǎn)換”,也能變化年齡
這位視覺特效師采用的基礎(chǔ)模型是Justin Pinkney和Doron Adler的作品StyleGAN2 FFHQ (Nvidia的模型),主要根據(jù)DeepAI做成。
StyleGAN的原理在于,它摒棄了輸入層,添加了一個(gè)非線性映射網(wǎng)絡(luò)。
此外,它創(chuàng)新了一種名為style-based generator的生成器,能夠控制所生成圖像的高層級(jí)屬性(high-level attributes),如 發(fā)型、雀斑等。
而且,這個(gè)StyleGAN自帶一個(gè)開源數(shù)據(jù)集FFHQ,里面包含著各種各樣的人臉數(shù)據(jù)集。

而這位視覺特效師,則是將這個(gè)StyleGAN2 FFHQ進(jìn)行了微調(diào)。
利用GAN生成的人物形象,不僅可以卡通化,還可以讓圖像模式化(Stylized),生成風(fēng)格相似的人物表情和特征。
不僅可愛的小朋友能被卡通化,而且還能根據(jù)眉毛和臉部特征構(gòu)建一個(gè)女孩子的面部:

如果人物“長(zhǎng)大”了,那么模式化出來的女孩子的面部,也會(huì)變得更成熟:

這份軟件目前還沒開源,因?yàn)榭雌饋恚@位視覺特效師對(duì)自己做出來的動(dòng)畫還不是太滿意,認(rèn)為仍然有更多可以改進(jìn)的空間。

不過,網(wǎng)友似乎已經(jīng)有點(diǎn)急不可耐。
有熱愛二次元的網(wǎng)友表示,希望這樣的工具能將所有的漫畫改成動(dòng)漫。

也有網(wǎng)友表示,這樣的工具看起來已經(jīng)很棒了,不知道作者是否有意愿在對(duì)作品滿意后,進(jìn)行開源。

期待這位視覺特效師能夠達(dá)成目標(biāo),將這份模型代碼開源。
作者介紹

Nathan Shipley,視覺特效師,動(dòng)態(tài)圖形藝術(shù)家,創(chuàng)意技術(shù)人員,目前感興趣的研究方向是AI生成藝術(shù)。
此外,這位特效師還曾經(jīng)在2019年,為佛羅里達(dá)州圣彼得堡的達(dá)利博物館“復(fù)活”了超現(xiàn)實(shí)主義畫家Salvador Dali本人。

那些對(duì)畫家Dali的著作有興趣的觀展者,只要按下按鈕,就能看見屏幕中的Dali正對(duì)你“打招呼”,神態(tài)非常惟妙惟肖。

如果對(duì)他的藝術(shù)作品感興趣的話,可以戳下方地址主頁查看。
Nathan Shipley主頁地址:
http://www.nathanshipley.com/gan