本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

只需3秒鐘，一個(gè)根本沒(méi)聽(tīng)過(guò)你說(shuō)話的AI，就能完美模仿出你的聲音。

例如這是你的一小句聊天語(yǔ)音：

說(shuō)話人樣本音頻：00:0000:03?

這是AI根據(jù)它模仿你說(shuō)話的音色：

AI樣本音頻：00:0000:05?

是不是細(xì)思極恐？

這是微軟最新AI成果——語(yǔ)音合成模型VALL·E，只需3秒語(yǔ)音，就能隨意復(fù)制任何人的聲音。

它脫胎于DALL·E，但專攻音頻領(lǐng)域，語(yǔ)音合成效果在網(wǎng)上放出后火了：

有網(wǎng)友表示，要是將VALL·E和ChatGPT結(jié)合起來(lái)，效果簡(jiǎn)直爆炸：

看來(lái)與GPT-4在Zoom里聊天的日子不遠(yuǎn)了。

還有網(wǎng)友調(diào)侃，（繼AI搞定作家、畫家之后）下一個(gè)就是配音演員了。

所以VALL·E究竟怎么做到3秒鐘模仿“沒(méi)聽(tīng)過(guò)”的聲音？

用語(yǔ)言模型來(lái)分析音頻

基于AI“沒(méi)聽(tīng)過(guò)”的聲音合成語(yǔ)音，即零樣本學(xué)習(xí)。

語(yǔ)音合成趨于成熟，但之前零樣本語(yǔ)音合成效果并不好。

主流語(yǔ)音合成方案基本是預(yù)訓(xùn)練+微調(diào)模式，如果用到零樣本場(chǎng)景下，會(huì)導(dǎo)致生成語(yǔ)音相似度和自然度很差。

基于此，VALL·E橫空出世，相比主流語(yǔ)音模型提出了不太一樣的思路。

相比傳統(tǒng)模型采用梅爾頻譜提取特征，VALL·E直接將語(yǔ)音合成當(dāng)成了語(yǔ)言模型的任務(wù)，前者是連續(xù)的，后者是離散化的。

具體來(lái)說(shuō)，傳統(tǒng)語(yǔ)音合成流程往往是“音素→梅爾頻譜（mel-spectrogram）→波形”這樣的路子。

但VALL·E將這一流程變成了“音素→離散音頻編碼→波形”：

具體到模型設(shè)計(jì)上，VALL·E也和VQVAE類似，將音頻量化成一系列離散tokens，其中第一個(gè)量化器負(fù)責(zé)捕捉音頻內(nèi)容和說(shuō)話者身份特征，后幾個(gè)量化器則負(fù)責(zé)細(xì)化信號(hào)，使之聽(tīng)起來(lái)更自然：

隨后以文本和3秒鐘的聲音提示作為條件，自回歸地輸出離散音頻編碼：

VALL·E還是個(gè)全能選手，除了零樣本語(yǔ)音合成，同時(shí)還支持語(yǔ)音編輯、與GPT-3結(jié)合的語(yǔ)音內(nèi)容創(chuàng)建。

那么在實(shí)際測(cè)試中，VALL·E的效果如何呢？

連環(huán)境背景音都能還原

根據(jù)已合成的語(yǔ)音效果來(lái)看，VALL·E能還原的絕不僅僅是說(shuō)話人的音色。

不僅語(yǔ)氣模仿到位，而且還支持多種不同語(yǔ)速的選擇，例如這是在兩次說(shuō)同一句話時(shí)，VALL·E給出的兩種不同語(yǔ)速，但音色相似度仍然較高：

同時(shí)，連說(shuō)話者的環(huán)境背景音也能準(zhǔn)確還原。

除此之外，VALL·E還能模仿說(shuō)話者的多種情緒，包括憤怒、困倦、中立、愉悅和惡心等好幾種類型。

值得一提的是，VALL·E訓(xùn)練用的數(shù)據(jù)集不算特別大。

相比OpenAI的Whisper用了68萬(wàn)小時(shí)的音頻訓(xùn)練，在只用了7000多名演講者、6萬(wàn)小時(shí)訓(xùn)練的情況下，VALL·E就在語(yǔ)音合成相似度上超過(guò)了經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)音合成模型YourTTS。

而且，YourTTS在訓(xùn)練時(shí)，事先已經(jīng)聽(tīng)過(guò)108個(gè)演講者中的97人聲音，但在實(shí)際測(cè)試中還是比不過(guò)VALL·E。

有網(wǎng)友已經(jīng)在暢想它可以應(yīng)用的地方了：

不僅可以用在模仿自己的聲音上，例如幫助殘障人士和別人完成對(duì)話，也可以在自己不想說(shuō)話時(shí)用它代替自己發(fā)語(yǔ)音。

當(dāng)然，還可以用在有聲書(shū)的錄制上。

不過(guò)，VALL·E目前還沒(méi)開(kāi)源，要想試用可能還得再等等。

作者介紹

這篇論文所有作者均來(lái)自微軟，其中有三位共同一作。

一作Chengyi Wang，南開(kāi)大學(xué)和微軟亞研院聯(lián)合培養(yǎng)博士生，研究興趣是語(yǔ)音識(shí)別、語(yǔ)音翻譯和語(yǔ)音預(yù)訓(xùn)練模型等。

共同一作Sanyuan Chen，哈工大和微軟亞研院聯(lián)合培養(yǎng)博士生，研究方向包括自監(jiān)督學(xué)習(xí)、NLP和語(yǔ)音處理等。

共同一作Yu Wu，微軟亞研院NLP小組研究員，在北航獲得博士學(xué)位，研究方向是語(yǔ)音處理、聊天機(jī)器人系統(tǒng)和機(jī)器翻譯等。

感興趣的小伙伴可以戳下方論文地址查看~

論文地址：https://arxiv.org/abs/2301.02111

音頻試聽(tīng)地址：
https://valle-demo.github.io/