NiuTrans开源统计机器翻译系统技术分析.PDF

NiuTrans 开源统计机器翻译系统技术分析 李强，孙坤杰，刘卓，肖桐，朱靖波 （东北大学自然语言处理实验室，辽宁 沈阳 110819） 摘要：本文主要介绍了必威体育精装版版NiuTrans 开源统计机器翻译系统的技术特点。在必威体育精装版版的NiuTrans 中，包含 当前主流的统计机器翻译模型，即：基于短语的翻译模型，基于层次短语的翻译模型，基于句法（树到串/ 串到树/树到树）的翻译模型。与此同时，NiuTrans 包含中英文的数据预处理工具，以及自主开发的精简且 高效的语言模型工具。为方便机器翻译研究人员使用，NiuTrans 开发接口对用户开放。经实验证明，NiuTrans 系统在NIST 和CWMT 的多个翻译任务中表现出优异的翻译性能。 关键词：NiuTrans ；统计机器翻译；开源工具包 中图分类号：TP391 文献标识码：A Technical Analysis of NiuTrans Open Source Statistical Machine Translation System LI Qiang, SUN Kun-Jie, LIU Zhuo, XIAO Tong, ZHU Jing-Bo (Northeastern University NLP Lab, Shenyang, Liaoning 110819, China) Abstract: This paper introduces the technical features for the latest version of NiuTrans open source machine translation toolkit. The toolkit supports the state-of-the-art models in statistical machine translation, including the phrase-based model, the hierarchical phrase-based model, and various syntax-based models (tree-to-string/string-to-tree/tree-to-tree). Furthermore, NiuTrans supports a preprocessing module for Chinese/English, and a simple and fast language model. In order to make it easy to use for machine translation researchers, several interfaces are available for further development with NiuTrans. We evaluate the NiuTrans system on the NIST and CWMT translation datasets. Experiments show that NiuTrans exhibits the state-of-the-art translation performance. Key words: NiuTrans ；Statistical Machine Translation；Open Source Toolkit 1 简介 自1949 年美国人Weaver 发表Translation 备忘录并正式提出机器翻译思想以来，机器 翻译已经发展了六十四年。目前，性能优异的机器翻译方法不需要人工书写大量的翻译规则， 而是自动从大规模双语平行语料中统计翻译信息，在翻译的过程中从巨大的有哪些信誉好的足球投注网站空间中有哪些信誉好的足球投注网站 得到翻译结果，这种基于统计模型的翻译方法称之为统计机器翻译。在基于统计的机器翻译 [1][2] [3][4] 模型中，分为基于短语的翻译模型 ，基于层次短语的翻译模型 ，基于句法（树到串/ 串到树/树到树）的翻译模型[5][6][7][8][9] 。基于短语、层次短语的翻译模型不需要对源语言及 目标语言进行深入