谷歌開源首個(gè)「方言」數(shù)據(jù)集：讓機(jī)器翻譯更地道

作者：新智元 2023-02-28 12:38:22

研究人員根據(jù)博客和教育網(wǎng)站手動(dòng)收集了20-30個(gè)具有地區(qū)特色的翻譯術(shù)語，并根據(jù)來自每個(gè)地區(qū)的母語志愿者的反饋對(duì)翻譯進(jìn)行過濾和審核。

雖然全中國的人都在說漢語，但具體到各地的方言卻略有不同，比如同樣是小巷的意思，「胡同」一開口就知道是老北京了，而到了南方則叫「弄」。

這種細(xì)微的地域性差異反應(yīng)在「機(jī)器翻譯」任務(wù)上，就會(huì)顯得翻譯結(jié)果不夠「地道」，而目前幾乎所有的機(jī)器翻譯系統(tǒng)都沒有考慮地區(qū)性語言（即方言）的影響。

而在世界范圍內(nèi)也存在這種現(xiàn)象，比如巴西的官方語言是葡萄牙語，跟歐洲的葡萄牙語之間也有一些地域性差異。

最近谷歌發(fā)布了一個(gè)全新的，可用于Few-shot Region-aware機(jī)器翻譯的數(shù)據(jù)集和評(píng)估基準(zhǔn)FRMT，主要解決方言翻譯問題，論文發(fā)表在TACL（Transactions of the Association for Computational Linguistics）上。

論文鏈接：https://arxiv.org/pdf/2210.00193.pdf

開源鏈接：https://github.com/google-research/google-research/tree/master/frmt

該數(shù)據(jù)集包括從英語到葡萄牙語和中文普通話的兩個(gè)地區(qū)變體的專業(yè)翻譯，源文檔是為了能夠詳細(xì)分析感興趣的現(xiàn)象，包括詞匯上不同的術(shù)語和干擾術(shù)語。

研究人員探索了 FRMT 的自動(dòng)評(píng)估指標(biāo)，并在區(qū)域匹配和不匹配評(píng)分情景下驗(yàn)證了其與專家人工評(píng)估的相關(guān)性。

最后，為這項(xiàng)任務(wù)提出了一些基線模型，并為研究人員如何訓(xùn)練、評(píng)估和比較自己的模型提供指導(dǎo)建議，數(shù)據(jù)集和評(píng)估代碼已開源。

Few-Shot泛化

大多數(shù)現(xiàn)代機(jī)器翻譯系統(tǒng)都經(jīng)過數(shù)百萬或數(shù)十億翻譯樣本的訓(xùn)練，輸入數(shù)據(jù)包括英語輸入句及其相應(yīng)的葡萄牙語翻譯。

然而，絕大多數(shù)可用的訓(xùn)練數(shù)據(jù)并沒有說明翻譯的地區(qū)差異。

鑒于這種數(shù)據(jù)稀缺性，研究人員將 FRMT 定位為few-shot翻譯的基準(zhǔn)，當(dāng)給定每種語言不超過100個(gè)帶標(biāo)簽的例子時(shí)，測(cè)量機(jī)器翻譯模型識(shí)別出指定區(qū)域語言變體的能力。

機(jī)器翻譯模型需要根據(jù)少量標(biāo)記過的樣本(即范例)中顯示的語言模式，來識(shí)別出其他未標(biāo)記訓(xùn)練樣本中的相似模式。模型需要通過這種方式進(jìn)行泛化，從而生成模型中沒有明確指定區(qū)域的「地道」翻譯結(jié)果。

比如輸入句子：The bus arrived，再給定幾個(gè)巴西葡萄牙語的例子，模型應(yīng)該能翻譯出「O ?nibus chegou」；如果給的樣例是歐洲葡萄牙語，模型的翻譯結(jié)果應(yīng)該變?yōu)椤窸 autocarro chegou」。

機(jī)器翻譯的few-shot方法是很有研究?jī)r(jià)值的，能夠以一種非常簡(jiǎn)單的方式來對(duì)現(xiàn)有系統(tǒng)中增加對(duì)額外區(qū)域語言的支持能力。

雖然谷歌目前發(fā)表的工作是針對(duì)兩種語言的區(qū)域變體，但研究人員預(yù)測(cè)，一個(gè)好的方法將很容易適用于其他語言和區(qū)域的變體。

從原理上來說，這些方法也適用于其他語言差異現(xiàn)象，例如禮節(jié)和風(fēng)格等。

數(shù)據(jù)收集

FRMT 數(shù)據(jù)集包括部分英文維基百科文章，來源于 Wiki40b 數(shù)據(jù)集，這些文章已經(jīng)由付費(fèi)的專業(yè)翻譯人員翻譯成不同的地區(qū)性的葡萄牙語和漢語。

為了突出關(guān)鍵區(qū)域感知的翻譯難題，研究人員使用了三個(gè)內(nèi)容桶（content buckets）來設(shè)計(jì)數(shù)據(jù)集：

1. 詞匯 Lixical

詞匯桶主要關(guān)注不同地區(qū)在詞匯選擇上的差異，例如當(dāng)把一個(gè)帶有單詞「bus」的句子分別翻譯成巴西語和歐洲葡萄牙語時(shí)，模型需要能夠識(shí)別出「?nibus」與「autocarro」的區(qū)別。

根據(jù)得到的英語術(shù)語列表，從相關(guān)的英語維基百科文章（例如，bus）中提取出100個(gè)句子。再對(duì)普通話，重復(fù)上述相同的的收集過程。

2. 實(shí)體 Entity

實(shí)體桶以類似的方式填充，涉及的人、位置或其他實(shí)體與某一特定語言所涉兩個(gè)區(qū)域之一有著密切聯(lián)系。

比如給定一個(gè)說明性的句子，如「In Lisbon, I often took the bus.」（在里斯本，我經(jīng)常坐公共汽車。），為了正確地將其翻譯成巴西葡萄牙語，模式必須能夠識(shí)別出兩個(gè)潛在的陷阱：

1）里斯本和葡萄牙之間更密切的地理關(guān)聯(lián)可能會(huì)影響模型翻譯的選擇，從而幫助模型判斷出應(yīng)該翻譯成歐洲葡萄牙語而非巴西葡萄牙語，即選擇「autocarro」而不是「?nibus」。

2）用「巴西利亞」代替「里斯本」可能是一個(gè)比較簡(jiǎn)單的方式，對(duì)于同一個(gè)模式，對(duì)巴西葡萄牙語本地化其輸出，即便翻譯結(jié)果仍然很流暢，但也可能會(huì)導(dǎo)致不準(zhǔn)確的語義。

3. 隨機(jī) Random

隨機(jī)桶用于檢查一個(gè)模型是否正確處理了其他不同的現(xiàn)象，包含從維基百科的featured和good）集合中隨機(jī)抽取的100篇文章。

系統(tǒng)性能

為了驗(yàn)證為 FRMT 數(shù)據(jù)集收集的翻譯能夠捕獲特定區(qū)域的現(xiàn)象，研究人員對(duì)數(shù)據(jù)質(zhì)量進(jìn)行了人工評(píng)估。

來自每個(gè)相應(yīng)區(qū)域的專家標(biāo)注員使用多維質(zhì)量度量(MQM)框架來識(shí)別和分類翻譯中的錯(cuò)誤：該框架包括一個(gè)分類加權(quán)方案，將識(shí)別出的錯(cuò)誤轉(zhuǎn)換成一個(gè)單一的分?jǐn)?shù)，粗略地表示每句話的主要錯(cuò)誤數(shù)量，即數(shù)值越小表示翻譯越好。

對(duì)于每個(gè)地區(qū)，研究人員要求 MQM 評(píng)分者對(duì)來自他們所在地區(qū)的翻譯和來自他們語言的其他地區(qū)的翻譯進(jìn)行評(píng)分。

例如，巴西的葡萄牙語評(píng)分員同時(shí)對(duì)巴西和歐洲的葡萄牙語譯本都進(jìn)行了評(píng)分，兩個(gè)分?jǐn)?shù)之間的差異表明語言現(xiàn)象的普遍性，即該語言變體是否可接受，而并非是另一種語言。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，在葡萄牙語和漢語中，評(píng)分者平均比匹配的譯文中每個(gè)句子多發(fā)現(xiàn)大約兩個(gè)主要錯(cuò)誤，表明FRMT數(shù)據(jù)集確實(shí)能夠捕獲特定區(qū)域的語言現(xiàn)象。

雖然人工評(píng)估是確保模型質(zhì)量的最佳方法，但其往往是緩慢且昂貴的。

因此，研究人員希望找到一個(gè)現(xiàn)成的自動(dòng)度量指標(biāo)，可以用來評(píng)估模型在基準(zhǔn)中的性能，研究人員考慮選擇使用 chrF，BLEU 和 BLEURT.

根據(jù) MQM 評(píng)估者對(duì)幾個(gè)基線模型翻譯結(jié)果的評(píng)分，可以發(fā)現(xiàn) BLEURT 與人類判斷具有最好的相關(guān)性，并且該相關(guān)性的強(qiáng)度(0.65 Pearson 相關(guān)系數(shù)，ρ)與標(biāo)注者間一致性(0.70組內(nèi)相關(guān)性)相當(dāng)。