編譯丨伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
視頻生成模型的腳步永不停歇！
圖片
4月2日，谷歌剛剛發(fā)布了強到可怕的AI視頻編輯工具VLOGGER。VLOGGER就像收集了很多視頻生成領(lǐng)域的前沿AI技能，而打造出的一款百寶箱。其中也有一些亮點細(xì)節(jié)，例如通過AI編輯，將讓畫面中講話者的閉眼、閉嘴、甚至“wink”。
這意味著視頻編輯在細(xì)節(jié)的深入上又精進了一個level！
VLOGGER的工作原理即輸入音頻和圖像， 由“讀唇器”根據(jù)音頻預(yù)測說話者的動作，而“動畫器”根據(jù)說話者的照片和動作細(xì)節(jié)創(chuàng)建視頻幀。
圖片
要知道VLOGGER這個百寶箱里都裝了什么，可以跟隨以下示例來看！
1.VLOGGER的多面能力
基礎(chǔ)的圖生視頻功能
將圖片驅(qū)動為一段視頻。
圖片
多語種唇形切換
輸入一種語言的視頻和另一種語言的音頻，它能根據(jù)新輸入的語言調(diào)整說話者的嘴部動作！
順便一提，OpenAI的VOICE ENGINE也在關(guān)注多語種的能力。可以根據(jù)一段音頻生成一段保留原聲音色及口音的外語視頻，如果這些能力都能打通，那么音視頻內(nèi)容的出海將會暢通無阻。
圖片
表情細(xì)節(jié)編輯
VLOGGER使得表情編輯更進一步，例如單獨控制一只眼睛等。通過使用工具，將生成新的面部表情和動作，用以提升視頻的創(chuàng)意。
圖片
2.最終效果，進步了但未完全消除“恐怖谷”
圖片
毫無疑問VLOGGER的視頻留下了令人印象深刻的亮點。如講話時自然的身體姿勢，增加手部運動以在一定程度上提升了視頻的真實感。然而，生成的表情和動作比起真實視頻還存在機械感重、不流暢的問題，因此會存在一定的“恐怖谷”效應(yīng)。
參考鏈接：https://twitter.com/hey_madni/status/1774832882902864327
