Facebook 研究員近日開(kāi)源了他們?cè)诮衲昶咴掳l(fā)表的一篇論文（Voice Synthesis for in-the-Wild Speakers via a Phonological Loop）中的語(yǔ)音合成方法。

在論文中，他們提出了一種新的文字轉(zhuǎn)語(yǔ)音的神經(jīng)網(wǎng)絡(luò)方法，可以將從開(kāi)放場(chǎng)景下采樣到的聲音中提取的文字轉(zhuǎn)化為語(yǔ)音。不同于其他的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，這種方法能夠處理從公開(kāi)演講中提取出來(lái)的非約束性的樣本，而且網(wǎng)絡(luò)架構(gòu)比現(xiàn)存的解決同樣問(wèn)題的架構(gòu)要簡(jiǎn)單。它基于新的移位緩沖內(nèi)存儲(chǔ)器區(qū)（shifting buffer working memory），這個(gè)緩沖區(qū)也可以用于評(píng)估注意力，計(jì)算輸出音頻，以及自身的更新。

通過(guò)使用與上下文無(wú)關(guān)（ context-free）的查找表對(duì)輸入語(yǔ)句進(jìn)行編碼，該表的每個(gè)條目包含一個(gè)字符或音素。同樣，能通過(guò)一個(gè)短向量來(lái)表示說(shuō)話者，這個(gè)短向量也適用于新說(shuō)話者。而且在生成音頻之前，優(yōu)先準(zhǔn)備好緩沖區(qū)可以使生成的語(yǔ)音具有可變性。

上圖為實(shí)驗(yàn)樣例中生成的注意力圖，X 軸是輸出時(shí)間（聲學(xué)樣本），Y 軸是輸入（文本／音素）。

代碼地址：https://github.com/facebookresearch/loop

論文地址：https://arxiv.org/abs/1707.06588