這兩天，美國(guó)女歌星霉霉（泰勒?斯威夫特）一則說(shuō)中文的短視頻在各社交平臺(tái)火了起來(lái)。有的播放量已經(jīng)達(dá)到了 600 多萬(wàn)。

在視頻里，霉霉操著一口流利、地道的中文，神情自若，幾乎沒(méi)有早期譯制片女主角的那種腔調(diào)，口型也能對(duì)得上。

圖源：微博 @會(huì)火

還沒(méi)有看過(guò)視頻的小伙伴們，我們先來(lái)一睹為快。

視頻作者：johnhuu 教英語(yǔ)

感覺(jué)怎么樣，是不是很神奇呢？

可以看到，不僅是霉霉，蕾切爾?布羅斯納安、特朗普、艾瑪?沃森、憨豆先生都掌握了一口正宗的中文。此外，小品演員蔡明在吐槽大會(huì)上「秀了一段流利的英文」。

作者表示，視頻制作中有三個(gè)重要的因素：掌握地道的口語(yǔ)翻譯、語(yǔ)音克隆和替換嘴型，每個(gè)步驟都要做好。不過(guò)，他沒(méi)有說(shuō)明用到的具體模型是什么。

視頻火了之后，更多的人開(kāi)始了新的嘗試，也讓我們了解到了視頻背后使用到的 AI 生成工具 ——HeyGen。

推特用戶(hù) @Gorden_Sun 同樣制作了一段霉霉說(shuō)中文的視頻，這次口型完美，卡點(diǎn)和嘴型都對(duì)得上。有人評(píng)論到，「音色其實(shí)也很像了。」

作者表示，視頻里面的翻譯是 HeyGen 自動(dòng)完成的，質(zhì)量可能不太好，他只需要上傳視頻并選擇要翻譯的語(yǔ)言就行了。

視頻字幕是作者自己加的，HeyGen 沒(méi)有該功能。此外視頻人物在情感還原度方面仍有欠缺。

不過(guò)，HeyGen 雖然可以免費(fèi)試用，但需要等待很長(zhǎng)時(shí)間。懂技術(shù)的小伙伴也可以尋找開(kāi)源替代方案，比如語(yǔ)音轉(zhuǎn)文字 whisper、文字翻譯 GPT、聲音克隆 + 生成音頻 so-vits-svc、生成符合音頻的嘴型視頻 GeneFace++。

除了中英互換之外，國(guó)外還有人嘗試將英語(yǔ)翻譯成日語(yǔ)，效果同樣很不錯(cuò)。他表示，該視頻同樣是使用 HeyGen 做的。

還有更離譜的是，有人使用 HeyGen 制作了說(shuō)多達(dá) 6 種不同語(yǔ)言的視頻。對(duì)此有人評(píng)價(jià)稱(chēng)，「HeyGen 將成為內(nèi)容創(chuàng)造領(lǐng)域的攪局者。」

那么，這個(gè) HeyGen 是什么來(lái)頭呢？原來(lái)它在兩個(gè)多月前就生成過(guò)一段爆火視頻。

HeyGen：做不輸 Midjourney 的 AI 視頻生成器

當(dāng)時(shí)，HeyGen 生成了一個(gè)超逼真的數(shù)字人，還是創(chuàng)始人 Joshua Xu 親自上陣。人物的表情、動(dòng)作、臉部微表情等等，都活靈活現(xiàn)地展現(xiàn)在你眼前。

HeyGen 的這段視頻掀起了一陣熱潮，但是因?yàn)檫€有一些效果缺陷，大家更加期待改善后的版本。

HeyGen 創(chuàng)始人 Joshua Xu 的 AI 生成數(shù)字人，眨眼頻率過(guò)高

HeyGen 背后的公司名叫詩(shī)云科技，成立于 2020 年。他們最初致力于做 AI 數(shù)字人生成，創(chuàng)始人 Joshua Xu 曾在 Snapchat 擔(dān)任主要工程師，負(fù)責(zé)機(jī)器學(xué)習(xí)領(lǐng)域。

Joshua Xu 曾發(fā)博客表示，自 2022 年 7 月產(chǎn)品發(fā)布以來(lái)，歷時(shí) 178 天，該公司 ARR （annual recurring revenue）已達(dá)到 100 萬(wàn)美元。

HeyGen 為用戶(hù)提供更加便宜、省時(shí)的視頻制作方法。這打破了傳統(tǒng)視頻制作中費(fèi)用高昂、周期長(zhǎng)、人員雜亂和設(shè)備需求高等問(wèn)題。