基于n-gram相似度的开发集选择.doc

基于n-gram相似度的开发集选择 郑达奇 涂兆鹏 姜文斌 米海涛 刘洋 刘群 中国科学院计算技术研究所 智能信息重点实验室 北京 100190 E-mail：{zhengdaqi, tuzhaopeng}@ict.ac.cn 摘 要：在Och最小错误率训练和对数线性模型的机器翻译框架下，本文提出了一种选择开发集的方法，通过分析开发集句子与测试集在n-gram上的相似度，选出和测试集相似度较高的一部分句子组成新的开发集。相较于原开发集，在此新选出的开发集上进行调参，能提高测试集的BLEU值。 关键字：自然语言处理、机器翻译、开发集选择 Development Set Selection Method Based On N-Gram Similarity Daqi Zheng, Zhaopeng Tu, Wenbin Jiang, Haitao Mi, Yang Liu, Qun Liu Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China E-mail：{zhengdaqi, tuzhaopeng}@ict.ac.cn Abstract: Based on Och’s MERT (Minimal Error Rate Training) and Log-Linear Model, we proposed a novel development set selection method. According to analyzing the similarity of n-gram between sentences in development set and test set, we choose the sentences of closer similarity as a new development set. Compared to the original development set, we can get better results on test set by tuning the weights on the new one. Keywords: natural language processing, machine translation, development set selection 引言 在最小错误率训练和对数线性模型的机器翻译基本框架下[Och et al, 2002, 2003]，我们假设，开发集和测试集是都是从整个句子集合这个总体抽出来的样本，这个总体服从某种分布。因此开发集和测试集是独立同分布的。于是在开发集上调参得到的结果可以直接用于解码测试集，并且应该能得到最好结果。但是在实际中，我们发现，在开发集上取得最好结果的参数，并不一定能在测试集上取得最好结果。我们猜想，这可能是因为开发集句子数量占句子总体的比例很小，所以把开发集调出来的最好参数当成测试集的最好参数，偏差发生的可能性较大。 由此我们想到，是不是能选出开发集中和测试集比较相似的一部分作为新开发集，这样使得新开发集在统计意义上靠近测试集，这样也许能得到更适合解码测试集的参数。 在上述想法指导下，本文提出了一种基于n-gram相似度的开发集选择方法。通过计算开发集中句子和测试集的在n-gram意义下的相似度，从开发集中选出和测试集相似度较高的一部分句子组成新的开发集。用在新开发集上训练得到的最优参数来解码测试集。从而提高了测试集上的解码结果。 本文余下部分安排如下：第2部分介绍其他人的相关工作，第3部分介绍我们实现的基于n-gram相似度的开发集选择方法。第4部分给出了实验所用数据，以及结果和分析。最后给出了结论。 相关工作 相关工作按照领域可以分为机器翻译和机器学习两大类。因为之前没有人在机器翻译领域发表过开发集选择的相关工作，所以下面主要提到的是训练集选择的一些工作。 机器翻译领域之前的语料赋权的工作，又可以被分为3类：数据选择，数据赋权，和翻译模型自适应。前两者有可能提高对齐准确度，并防止领域无关的短语对被抽取出来。而翻译模型自适应则提高那些领域相关短语对的权重或者是引入那些源语言端没有出现的对应翻译[Spyros Matsoukas et al, 2009]。 微软研究院在2006年NIST评测中所使用的方法是：先做在平行语料上做GIZA++对齐，找出测试集中所有基于字的n-gram；在对齐语料中每次取一个对齐双语句对，如果有测试集中出现过得n-gram，就提取此句对；如果测