统计机器翻译中译知识优化方法研究.pdf

统计机器翻译中翻译知识优化方法研究 摘要 统计机器翻译中翻译知识优化方法研究 摘要 现有统计机器翻译系统对于大规模训练语料有着较强的依赖性，原因在于：大规 模双语训练语料往往蕴含丰富的翻译知识和语言知识，对于翻译模型和目标语言模型 都有着积极的指导作用。然而，随着训练语料规模的增长，往往会出现如下一种无法 回避的负面问题：翻译知识中存在着冗余信息和错误信息，误导翻译模型和语言模型 的学习与应用。为此，本文集中研究了统计机器翻译中翻译知识的优化问题，并提出 解决这一问题的新方法，主要研究内容归纳如下：  训练语料选择 本文以训练语料的质量为评价标准，提出了基于分类的平行语料选择方法。利用 句对特征的排序结果构建区分性较大的正负例句对，然后使用上述区分性较大的句对 训练分类器，最后借助分类器自动地进行语料质量判定分类工作。判定完语料质量后， 仅选择语料质量好的句对作为机器翻译系统的训练语料。在大规模语料上进行的实验 表明本文所提方法能比基准系统高出0.87 个BLEU 点。  翻译知识中噪音的过滤 针对口语翻译系统中实词翻译丢失的问题，本文选择在层次短语模型上开展研究。 针对层次短语模型特点，本文提出一种启发式的短语表 （翻译知识）过滤方法。该方 法有效地将一些含有实词翻译丢失现象的噪音短语进行排除。本文选择在口语翻译任 务上进行实验，实验结果表明本方法能在有效缓解实词翻译丢失问题的同时提高 BLEU 值。  翻译知识中主题信息的融合 本文选择在调序模型中融入主题信息。首先，利用主题模型估计训练语料的主题 信息，然后使用设计的主题信息特征模板抽取含有主题信息的调序实例，使用抽取出 I 摘要 统计机器翻译中翻译知识优化方法研究 的调序实例训练调序模型。最后我们将融合文档主题信息的调序模型集成到机器翻译 系统中，并设计出该系统的翻译解码过程。在大规模语料上的实验证明了本文所提方 法的有效性。 关键词：统计机器翻译；语料选择；短语表过滤；文档主题信息 作者：王 星 指导教师：姚建民 洪 宇 II Optimization on Translation Knowledge in Statistical Machine Translation Abstract Optimization on Translation Knowledge in Statistical Machine Translation Abstract The performance of statistical machine translation is largely dependent on large-scale training bilingual data, because the translation knowledge and language knowledge in the training data play a positive role in constructing translation model and language model. However, the problem that translation knowledge contains some redundancy infor