基于深度學(xué)習(xí)的機(jī)器翻譯，簡(jiǎn)稱(chēng)深度機(jī)器翻譯近兩年來(lái)取得了驚人的進(jìn)展，翻譯的準(zhǔn)確度綜合評(píng)比已經(jīng)超過(guò)傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯，研究單位主要有蒙特利爾大學(xué)[1,2]，斯坦福大學(xué)[3,4]，清華大學(xué)[5,6]，谷歌[3,7,8]，微軟[9]和百度[5,10]，以及華為諾亞方舟實(shí)驗(yàn)室[11-13]，競(jìng)爭(zhēng)異常激烈。

 

　　最近谷歌發(fā)表論文[8]，介紹了他們最新的研究成果，引起業(yè)界廣泛關(guān)注，他們的系統(tǒng)主要采用了蒙特利爾大學(xué)、斯坦福大學(xué)、清華大學(xué)、以及華為諾亞方舟實(shí)驗(yàn)室的技術(shù)，以及一些工程上的優(yōu)化，其最大特點(diǎn)是使用了大規(guī)模的訓(xùn)練數(shù)據(jù)。

　　我們?cè)谕粶y(cè)試數(shù)據(jù)集上對(duì)谷歌、微軟必應(yīng)、及諾亞的系統(tǒng)做了評(píng)測(cè)（百度翻譯因?yàn)橹苯佑涗浟嗽摐y(cè)試集，無(wú)法直接比較），結(jié)果如下圖所示。指標(biāo)是業(yè)界標(biāo)準(zhǔn) BLEU 點(diǎn)，一般來(lái)說(shuō)人的 BLEU 值在50-70之間。

　　

　　谷歌系統(tǒng)比諾亞系統(tǒng)高大概3個(gè) BLEU 點(diǎn)。我們分析，這主要是因?yàn)楣雀柘到y(tǒng)集成了業(yè)界多種最新技術(shù)（包括諾亞的 Coverage 技術(shù)），以及使用了更大的訓(xùn)練數(shù)據(jù)集（據(jù)說(shuō)數(shù)億句對(duì) vs. 一百萬(wàn)句對(duì)）。其實(shí)他們?cè)诜椒ㄉ系膭?chuàng)新并不多?？梢哉f(shuō)諾亞的基本技術(shù)與谷歌是持平的。

　　諾亞最近提出了三個(gè)方法，從不同角度提高深度機(jī)器翻譯的精度。

　　在 NIST 中英新聞翻譯任務(wù)上，這三個(gè)方法將譯文的 BLEU 分?jǐn)?shù)從33.8逐步提高到36.8，取得了9%的提升，達(dá)到了業(yè)界領(lǐng)先水平。三個(gè)工作分別被自然語(yǔ)言處理和人工智能頂級(jí)會(huì)議及期刊 ACL 2016, TACL 2017 和 AAAI 2017 錄用。第一個(gè)方法在業(yè)界得到廣泛好評(píng)，也被谷歌采用。下圖總結(jié)了諾亞的方法對(duì)深度翻譯的提高。

　　

 

　　1. 覆蓋率（Coverage）機(jī)制 [11]：通過(guò)記錄哪些詞已經(jīng)被翻譯了，鼓勵(lì)系統(tǒng)翻譯未被翻譯的詞。這個(gè)方法可以顯著減少遺漏翻譯和過(guò)度翻譯的錯(cuò)誤數(shù)量。

　　2. 上下文門(mén)（Context Gate）方法[12]：在譯文生成過(guò)程中，實(shí)詞和虛詞對(duì)原文信息的依賴是不一樣的。該方法通過(guò)自動(dòng)控制原文信息參與生成不同類(lèi)型譯文詞的程度，使原文信息更有序、更完整地傳輸?shù)阶g文中。

　　3. 基于重構(gòu)（Reconstruction）的忠實(shí)度指標(biāo)[13]：以譯文重新翻譯成原文的程度來(lái)衡量譯文的忠實(shí)度。通過(guò)將重構(gòu)指標(biāo)引入訓(xùn)練過(guò)程，系統(tǒng)可生成更忠于原文的譯文。

　　深度機(jī)器翻譯并不能包打天下，在訓(xùn)練數(shù)據(jù)缺乏，以及人的知識(shí)加入的條件下，未必能夠發(fā)揮威力。諾亞正在研究基于EAI思想的機(jī)器翻譯，旨在將深度翻譯與人的知識(shí)結(jié)合起來(lái)，以開(kāi)發(fā)出更好的機(jī)器翻譯系統(tǒng)。

　　下面介紹華為諾亞方舟實(shí)驗(yàn)室將 BLEU 分?jǐn)?shù)提高到36.8%的基于重構(gòu)的深度機(jī)器翻譯方法[13]，該論文被 AAAI 2017 錄用。