日本CG大神又整活了!3D建模軟件拿來搞面部實時捕捉
本文經(jīng)AI新媒體量子位(公眾號ID:QbitAI)授權(quán)轉(zhuǎn)載,轉(zhuǎn)載請聯(lián)系出處。
最近,拿Maya加一個換臉軟件就能做到的實時面部捕捉在日推火了:
不管怎么擠眉弄眼,褶子和肌肉的細微變化都跟得上。
連續(xù)兩個演示視頻點贊分別突破4k和3k,甚至被網(wǎng)友評價為“效果好得有點可怕”。
怎么說呢……直接杵一個臉在攝像頭前,就能實時替換臉部表情確實更方便。
至少和滿臉小點+機械裝置比起來,不再那么密恐福利了……
開發(fā)者橫原大和(Hirokazu Yokohara) 是日本的一位“全才”藝術(shù)家,3D建模、場景、特效、甚至像這種沾邊前沿科技的活兒都會做。
比如我們之前介紹過的那位在電車上啾咪順拐的萌妹,也是出自這位大神之手:
接下來,我們先從他這次所用的技術(shù)開始了解。
又見DeepFake
橫山提到,他在幾天前看到有人將UE5和DeepFace Live結(jié)合起來,直接合成了一個視頻:
于是他便也起了心思,打算用Maya試試看。并且他還實現(xiàn)了實時面部捕捉的效果。
具體來說,技術(shù)方案是Maya + 換臉軟件DeepFace Live。
其中Maya是有軟件自帶的面部綁定系統(tǒng)。
而DeepFace Live聽名字就知道,與曾經(jīng)爆火的DeepFake有關(guān)。
這是一種利用機器學習中的深度學習實現(xiàn)的深度視頻換臉的技術(shù),基于這種技術(shù)誕生了無數(shù)的下載即用,甚至在線可玩的工具和軟件。
(肌肉金輪就是其成果之一)
DeepFace Live就是其中一種。
這是一個去年剛剛公開的開源工具,特點是可以在流媒體或直播視頻中實時換臉,也就是說讓用戶通過網(wǎng)絡(luò)攝像頭應(yīng)用面部過濾器,與大多數(shù)基于視頻的流媒體和信息服務(wù)結(jié)合使用。
比如常見的Skype,Zoom,Tik Tok,Twitch上都可以使用:
當然,DeepFaceLive的人臉交換功能也可以應(yīng)用于預(yù)先錄制的視頻。
開發(fā)者是來自俄羅斯的Iperov,同時,他也是曾經(jīng)應(yīng)用最廣泛的DeepFaceLab的開發(fā)者質(zhì)之一。
開發(fā)者也是老二刺猿了
至于這位橫原大神本身,我們開頭介紹過,這是一位在各領(lǐng)域都造詣頗深的通才。
他來自東京的khaki工作室,主要負責為CM,MV,動畫,大型游戲等各種媒體或設(shè)備設(shè)計視覺特效(VFX)。
不說工作室的名字,只說他們的作品,總有一款你熟悉的。
比如陰陽師2017年的這個宣傳PV:
2020年的VR游戲設(shè)備hexaRide中的第一款合作游戲,《攻殼機動隊》的CG:
還為世界第一的公主殿下做過MV:
怎么說呢,老二刺猿了。