洞察eBay自動翻譯機器
2016-11-02 11:17:28 etogether.net 本站原創(chuàng) 次
目前在eBay上有超過8億個產(chǎn)品列表?？紤]到每個列表有大約300個詞，你認(rèn)為需要多少的語言學(xué)家及需要多長時間翻譯這些列表？而且一些列表可能只在線一天或一周，且?guī)齑鏁粩嘧兓Ｋ钥咳朔g是不可行的。對于這些產(chǎn)品列表，機器翻譯在這種情況下顯然是更適合。但其他類型的內(nèi)容，如UI，客戶支持等，都是由我們的本地化語言專家團隊負(fù)責(zé)。
也許我們最大的挑戰(zhàn)之一是產(chǎn)品列表是由用戶編寫的，而不是由專業(yè)作家或內(nèi)容開發(fā)人員編寫。他們會以非常不同的方式，使用不同的設(shè)備，而且用不同的注意力。正如你可以猜到的，翻譯用戶生成的內(nèi)容對于任何MT系統(tǒng)都是件困難的事情，因為它需要學(xué)習(xí)如何處理打字錯誤，語法不規(guī)則，缺乏標(biāo)點符號，外來語等等。
我們系統(tǒng)的另一個巨大挑戰(zhàn)是它們必須處理不同類型的內(nèi)容。在eBay上有超過12,000個類別，從汽車零件到古董，從原創(chuàng)漫畫藝術(shù)到電動工具。這意味著我們的MT引擎必須處理針對每個類別的術(shù)語。為一個特定領(lǐng)域訓(xùn)練MT系統(tǒng)相對容易，但是當(dāng)需要涵蓋這么多不同的主題時，事情變得更復(fù)雜。
第三個挑戰(zhàn)是特定領(lǐng)域，真的很難找到特定領(lǐng)域內(nèi)數(shù)據(jù)來訓(xùn)練我們的引擎。我們使用統(tǒng)計翻譯模型。簡而言之，這意味著翻譯是由大量平行語言數(shù)據(jù)（源和目標(biāo)語言中的對齊文本）生成的結(jié)果。公開場合不難找到一般科目的并行數(shù)據(jù)，但是嘗試找到大量關(guān)于棒球裝備或動作數(shù)字的雙語文本。不是那么容易。
但考慮到eBay市場上有超過1.5億活躍用戶試圖查看這些產(chǎn)品列表，而且這些用戶分布在超過30個國家及地區(qū)。eBay的MT團隊只能努力的解決這個問題。
搜索查詢：這是用戶在搜索框中輸入的內(nèi)容，以便找到他們想要購買的內(nèi)容。這是唯一把用戶語言文本翻譯成英語，以匹配查詢與庫存，主要是英語。查詢真的很難翻譯，因為沒有上下文，并且許多單詞是多義的，即，它們具有多于一個意義。例如，當(dāng)用戶搜索“眼鏡”時，他們想找到太陽鏡還是啤酒瓶？
項目標(biāo)題和描述：每個列表都有一個標(biāo)題，因此您可以快速找出項目是什么，以及描述，以便您可以找到項目的條件，測量，規(guī)格等信息。如果您熟悉任何電子商務(wù)網(wǎng)站中使用標(biāo)題，您可能已經(jīng)注意到，他們幾乎沒有句子或遵循正確的語法規(guī)則。它們通常是一個單詞的集合，一個接一個，有時大量加載同義詞。一個真正的例子：“1 pcs good quality hard pencil bait fising lures tackle bait crankbait 3d eyes”。用于翻譯標(biāo)題的MT系統(tǒng)需要使用這種類型的內(nèi)容專門訓(xùn)練，以產(chǎn)生具有期望的“格式”的翻譯。
上一篇：微軟翻譯可能很快推出多種語言的實時翻譯
下一篇：這回輪到翻譯們失業(yè)了，聯(lián)合國推出了翻譯專利的 AI
微信公眾號搜索“譯員”關(guān)注我們，每天為您推送翻譯理論和技巧，外語學(xué)習(xí)及翻譯招聘信息。