撰稿 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

OpenAI的新動作來了！此前Altman在采訪中透露，在GPT-5史詩級的升級發(fā)布之前，OpenAI將在未來幾個月發(fā)布許多“很酷的新東西”。

今天，OpenAI語音引擎首次亮相，效果的確驚艷！更重要的是它的合成效率之高——只需要用戶上傳任何 15 秒的語音樣本，就能生成該語音的合成副本。

產(chǎn)品負責(zé)人哈里斯說，為語音引擎提供支持的生成式人工智能模型已經(jīng)隱藏在人們的視線中一段時間了。OpenAI的新動作勢必讓語音克隆技術(shù)殺回我們的視野。

雖然算是突發(fā)新聞。但此次更新也是有端倪可循的。一周之前，X上的科技博主@Smoke-away 就發(fā)現(xiàn)OpenAI悄悄地注冊了VOICE ENGINE商標。

圖片

此前，網(wǎng)友也發(fā)現(xiàn)過OpenAI新的網(wǎng)站Feather（意為羽毛，詳細新聞見鏈接），但這個神秘項目卻遲遲沒有下文。

不過這一次， OpenAI這次的動作確實夠快的！

一、語音引擎要做什么？

OpenAI在其介紹頁展示了幾個令人印象深刻的案例。語音引擎的音色克隆效果自然、流暢，在不同語種之間切換時非常真實的保留了音色的特點，大家可以通過聽合成的中文音頻來更深地體會語音引擎的優(yōu)秀（手動狗頭）。

1.教育場景-幫助視覺受損者和兒童閱讀

通過語音引擎的合成，能生成了比傳統(tǒng)預(yù)設(shè)聲音更為豐富和多樣的聲音，從而提升需要幫助者的閱讀體驗。

通過字幕學(xué)習(xí)西班牙語

2.翻譯場景-讓聲音無障礙的流向世界

制作的博客等聲音內(nèi)容，可以翻譯成多種語音進行傳播。值得一提的是，用于翻譯時，語音引擎會保留原說話者的母語口音：用英語說話者的音頻樣本生成中文，就會產(chǎn)生帶有英語口音的語音，主打一個真實。

3.為偏遠地區(qū)提供服務(wù)

科技可以幫助我們與少數(shù)語音者進行無障礙溝通。例如案例中使用了語音引擎和 GPT-4 以每位工作人員的主要語言（包括斯瓦希里語或更非正式的語言）進行互動反饋。

生成的少數(shù)語種音頻,51CTO技術(shù)棧,15秒

4.讓失語者“發(fā)聲”

語音引擎還設(shè)想為不會說話的人提供幫助。用戶可以選擇最能代表自己的語音，與他們進行交流。語音引擎還保證對多語種用戶來說，每種口語都能保持一致的語音。讓那些從未開口的人擁有一種音色，這就是科技的浪漫所在吧。

二、語音引擎的背后技術(shù)

1.模型訓(xùn)練——不能告知的訓(xùn)練數(shù)據(jù)

在接受外媒采訪時，被問到模型訓(xùn)練數(shù)據(jù)的來源，OpenAI產(chǎn)品人員哈里斯變得非常謹慎。他表示，這些數(shù)據(jù)基于授權(quán)信息和公開信息。

由于訓(xùn)練數(shù)據(jù)通常涉及大量語音錄音，且往往被視為商業(yè)秘密，關(guān)于訓(xùn)練數(shù)據(jù)和過程的具體細節(jié)往往保密。然而，這也導(dǎo)致了許多知識產(chǎn)權(quán)糾紛，例如紐約時報就曾對OpenAI提起訴訟。

隨著技術(shù)的成熟，使用侵權(quán)素材訓(xùn)練模型的情況正在改善。OpenAI也已與國外Shutterstock、Axel Springer等內(nèi)容提供商簽訂協(xié)議，并提供了阻止網(wǎng)絡(luò)爬蟲的選項，允許藝術(shù)家從其圖像生成模型的數(shù)據(jù)集中撤回作品。

但現(xiàn)階段，當(dāng)科技高管們被問到這個問題，也許只能選擇像OpenAI CTO Mira那樣，做個“沉默的大多數(shù)”。

2.合成聲音——無需微調(diào)的技術(shù)設(shè)計

令人驚訝的是，語音引擎并未進行微調(diào)。這在一定程度上得益于語音引擎獨特的模型設(shè)計——通過擴散模型來即時生成語音。

哈里斯說：“我們采用少量音頻樣本和文本，生成與原始說話者相匹配的真實語音。” “請求完成后，所使用的音頻將被刪除。”

該模型通過分析語音數(shù)據(jù)和待朗讀的文本，直接生成匹配的語音輸出，無需為每個用戶構(gòu)建個性化模型。盡管語音克隆技術(shù)在業(yè)界已非新鮮事物，但OpenAI聲稱其方法能夠提供更高質(zhì)量的語音體驗。

TechCrunch 稱在OpenAI的營銷文件（現(xiàn)在已經(jīng)刪除）中，Voice Engine 的定價為每百萬字符（約 162,500 個單詞）15 美元。這意味著大約 18 小時的音頻，使得價格略高于每小時 1 美元。這確實比更受歡迎的競爭對手之一 ElevenLabs 的收費便宜——每月 100,000 個字符 11 美元。

但OpenAI的語音引擎目前還沒有提供能調(diào)整語音細節(jié)的選項，如果初始聲音是興奮的或沮喪的，接下來合成的所有聲音都只能保持這個情緒。

三、AI克隆技術(shù)是敵是友？

盡管OpenAI 讓我們看到了語音克隆為“人類謀福利”的可行性，但隨著 Deepfakes 的激增，相關(guān)技術(shù)是否能一直被負責(zé)任的使用或許還要打個問號。

此前，美國科技媒體The Verge曾報道過一次語音合成的詐騙案件。網(wǎng)絡(luò)詐騙犯利用Deepfake仿制公司高管的語音，合成語音郵件發(fā)送至公司員工，對大型公司進行經(jīng)濟詐騙。國內(nèi)也曾有過類似事件的報道。

當(dāng)前的合成語音雖然逼真，但仍然有技術(shù)上的漏洞。美國安全咨詢公司NISOS使用頻譜工具對案件中Deepfake音頻進行了分析，發(fā)現(xiàn)這段Deepfake語音的頻譜圖有峰值反復(fù)出現(xiàn)且音頻不連貫。

相較于合成音頻，真實人聲的音高與音調(diào)都更為平滑。此外，放大合成音頻的音量時，無法監(jiān)測到該錄音的背景噪音，這進一步表明這段音頻是經(jīng)過人為處理的。

然而，誰能保證隨著技術(shù)的發(fā)展，Deepfake不會走向更深處呢？

當(dāng)前，OpenAI尚并未開放語音引擎的訪問權(quán)限。而是由紅隊的專家對其風(fēng)險進行評估，并提出必要措施和減弱風(fēng)險的策略，以阻止惡意使用。

哈里斯說，“我們不希望人們混淆合成聲音和真實的人類聲音。”

參考鏈接：

1.https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

2.https://techcrunch.com/2024/03/29/openai-custom-voice-engine-preview/

3.https://www.thepaper.cn/newsDetail_forward_8488082