Meta NLLB團(tuán)隊(duì)：將神經(jīng)機(jī)器翻譯擴(kuò)展到200種語(yǔ)言，問(wèn)鼎Nature！原創(chuàng)

發(fā)布于 2024-6-12 11:39

瀏覽

0收藏

神經(jīng)技術(shù)的發(fā)展為機(jī)器翻譯的研究開(kāi)辟了新的途徑。如今，神經(jīng)機(jī)器翻譯（NMT）系統(tǒng)可以利用高度多語(yǔ)言能力，甚至進(jìn)行零翻譯，提供了有希望的語(yǔ)言覆蓋和質(zhì)量結(jié)果。然而，擴(kuò)展高質(zhì)量的NMT需要大量平行雙語(yǔ)數(shù)據(jù)，而這些數(shù)據(jù)對(duì)世界上7000多種語(yǔ)言并不平等地可用。將重點(diǎn)放在改進(jìn)相對(duì)較少數(shù)量的高資源語(yǔ)言的翻譯質(zhì)量上，將導(dǎo)致研究關(guān)注低資源語(yǔ)言的不足，從而加劇了數(shù)字不平等。為了打破這一模式，研究人員在這里介紹了No Language Left Behind——一個(gè)利用跨語(yǔ)言轉(zhuǎn)移學(xué)習(xí)的單一大規(guī)模多語(yǔ)言模型。研究人員開(kāi)發(fā)了一個(gè)基于稀疏門(mén)專家混合架構(gòu)的條件計(jì)算模型，該架構(gòu)是基于針對(duì)低資源語(yǔ)言量身定制的新挖掘技術(shù)獲得的數(shù)據(jù)進(jìn)行訓(xùn)練的。此外，團(tuán)隊(duì)設(shè)計(jì)了多種架構(gòu)和訓(xùn)練改進(jìn)方法，以抵消在數(shù)千個(gè)任務(wù)上進(jìn)行訓(xùn)練時(shí)的過(guò)擬合。使用專門(mén)為此目的創(chuàng)建的工具評(píng)估了該模型在40,000個(gè)翻譯方向上的性能——一個(gè)自動(dòng)基準(zhǔn)（FLORES-200），一個(gè)人工評(píng)估指標(biāo)（XSTS）和一個(gè)涵蓋模型中每種語(yǔ)言的毒性檢測(cè)器。與以前的最先進(jìn)模型相比，該模型在BLEU度量下平均達(dá)到了44％的翻譯質(zhì)量改進(jìn)。通過(guò)展示如何將NMT擴(kuò)展到200種語(yǔ)言，并且將此工作中的所有貢獻(xiàn)免費(fèi)提供給非商業(yè)用戶使用，該工作為通用翻譯系統(tǒng)的發(fā)展奠定了重要的基礎(chǔ)。

Meta NLLB團(tuán)隊(duì)：將神經(jīng)機(jī)器翻譯擴(kuò)展到200種語(yǔ)言，問(wèn)鼎Nature！-AI.x社區(qū)

最近，神經(jīng)機(jī)器翻譯（NMT）的出現(xiàn)推動(dòng)了翻譯技術(shù)的發(fā)展，但其好處并不均衡分布。絕大多數(shù)改進(jìn)主要受益于高資源語(yǔ)言，許多低資源語(yǔ)言被落下了。為了研究目的，研究人員將高資源語(yǔ)言定義為至少具有100萬(wàn)句對(duì)齊文本數(shù)據(jù)（或雙語(yǔ)文本）的語(yǔ)言。這種差距主要可以歸因于數(shù)據(jù)缺口：NMT模型通常需要大量數(shù)據(jù)才能產(chǎn)生高質(zhì)量的翻譯，而這些數(shù)據(jù)在低資源語(yǔ)言中并不可用。"無(wú)語(yǔ)言被遺忘"（NLLB-200）項(xiàng)目旨在通過(guò)利用以前未知的方法構(gòu)建具有跨語(yǔ)言轉(zhuǎn)移能力的大規(guī)模多語(yǔ)言模型，使相關(guān)語(yǔ)言能夠相互學(xué)習(xí)，從而克服這一限制。

目前已廣泛認(rèn)可，多語(yǔ)言模型相比雙語(yǔ)模型表現(xiàn)出有希望的性能改進(jìn)。然而，一個(gè)問(wèn)題仍然存在，即大規(guī)模多語(yǔ)言模型是否能夠在不損害質(zhì)量的情況下表示數(shù)百種語(yǔ)言。結(jié)果表明，在機(jī)器翻譯中增加支持的語(yǔ)言數(shù)量并保持輸出質(zhì)量并不是互相排斥的努力。最終模型包括200種語(yǔ)言，低資源語(yǔ)言數(shù)量是高資源語(yǔ)言數(shù)量的三倍，平均性能比之前的最先進(jìn)系統(tǒng)提高了44%。本文介紹了實(shí)現(xiàn)這一目標(biāo)所使用的一些最重要的數(shù)據(jù)收集、建模和評(píng)估技術(shù)。

首先，與高資源語(yǔ)言相比，低資源語(yǔ)言的訓(xùn)練數(shù)據(jù)在成本和物流方面都具有挑戰(zhàn)性。公開(kāi)可用的數(shù)字資源或者數(shù)量有限，或者對(duì)于自動(dòng)化系統(tǒng)來(lái)說(shuō)難以檢測(cè)（尤其是在大型公共網(wǎng)絡(luò)數(shù)據(jù)集，如CommonCrawl中）。無(wú)論是否需要收集關(guān)鍵質(zhì)量的人工翻譯種子數(shù)據(jù)，足夠的數(shù)據(jù)獲取依賴于大規(guī)模數(shù)據(jù)挖掘和單語(yǔ)數(shù)據(jù)流水線。后者的技術(shù)通常受到噪聲和偏差的影響，因此驗(yàn)證它們生成的數(shù)據(jù)集的質(zhì)量是繁瑣的。在NLLB-200中，研究人員展示了一種基于蒸餾的句子編碼技術(shù)LASER3，它有助于有效地挖掘低資源語(yǔ)言的平行數(shù)據(jù)。

其次，在建模方面，研究人員使用一系列的種子、挖掘、開(kāi)源和回譯數(shù)據(jù)集來(lái)訓(xùn)練多語(yǔ)言條件計(jì)算模型（更具體地說(shuō)，稀疏門(mén)控專家混合模型），這些模型可以在相關(guān)語(yǔ)言之間實(shí)現(xiàn)跨語(yǔ)言轉(zhuǎn)移，而不增加無(wú)關(guān)語(yǔ)言之間的干擾。研究人員展示了如何在跨語(yǔ)言轉(zhuǎn)移和干擾之間取得最優(yōu)的性能平衡，并提高低資源語(yǔ)言的性能。

最后，為了進(jìn)行質(zhì)量評(píng)估，研究人員創(chuàng)建了FLORES-200，這是一個(gè)大規(guī)模多語(yǔ)言基準(zhǔn)，可以衡量NLLB-200模型涵蓋的近40,000個(gè)翻譯方向的翻譯質(zhì)量。除了自動(dòng)評(píng)估指標(biāo)，還創(chuàng)建了跨語(yǔ)義文本相似度（XSTS）和毒性評(píng)估（ETOX）。XSTS是一個(gè)人工評(píng)估協(xié)議，可以在不同語(yǔ)言之間提供一致性；ETOX是一個(gè)使用毒性詞匯列表檢測(cè)翻譯中添加毒性的工具。

除了創(chuàng)建這些模型，研究人員還反思了NLLB的潛在社會(huì)影響。為了增強(qiáng)工作在服務(wù)低資源語(yǔ)言社區(qū)方面的實(shí)際適用性，Meta將在此努力中描述的所有基準(zhǔn)、數(shù)據(jù)、代碼和模型作為資源免費(fèi)提供給非商業(yè)用戶使用，地址如下：

???https://github.com/facebookresearch/fairseq/tree/nllb???

Meta NLLB團(tuán)隊(duì)：將神經(jīng)機(jī)器翻譯擴(kuò)展到200種語(yǔ)言，問(wèn)鼎Nature！-AI.x社區(qū)