微軟發(fā)布 AI 聲音生成工具 VALL-E,只需 3 秒音頻即可模仿人說(shuō)話
1 月 10 日消息,微軟最近發(fā)布了一款名為 VALL-E 的人工智能工具,只需 3 秒音頻即可模仿人說(shuō)話。
該工具經(jīng)過(guò) 60000 小時(shí)英語(yǔ)語(yǔ)音數(shù)據(jù)的訓(xùn)練,并使用特定語(yǔ)音的 3 秒剪輯來(lái)生成內(nèi)容。與目前的許多人工智能工具不同,VALL-E 可以復(fù)制說(shuō)話者的情緒和語(yǔ)氣,即使說(shuō)話者本人從未說(shuō)過(guò)的單詞也可以模仿。
IT之家了解到,康奈爾大學(xué)的一篇論文使用 VALL-E 合成了幾種聲音,大家可以在 ??GitHub 上聆聽(tīng)這些 AI 合成的音頻??。
研究人員指出,在許多情況下,Vall-E 的性能優(yōu)于當(dāng)前的文本到語(yǔ)音轉(zhuǎn)換模型。然而,該研究還寫(xiě)道,人工智能模型目前存在幾個(gè)問(wèn)題。例如,文本提示中的某些單詞可能會(huì)發(fā)音不清晰、完全遺漏或在輸出中出現(xiàn)兩次。此外,該模型目前難以模仿某些聲音,尤其是帶有口音的聲音。
像其他 AI 新技術(shù)一樣,VALL-E 在安全、倫理等方面也引發(fā)了擔(dān)憂。微軟發(fā)布了關(guān)于使用 VALL-E 的道德聲明,但未來(lái)的使用用途方面沒(méi)有明確說(shuō)明。
目前,微軟 Vall-E 尚未開(kāi)源。微軟已經(jīng)在 GitHub 上創(chuàng)建了一個(gè) ??Vall-E 存儲(chǔ)庫(kù)??,但目前只包含一個(gè)描述文件。