以待翻译句为导向的实例模式泛化算法.docVIP

大规模句子相似度计算方法* 黄河燕1 陈肇雄1 张孝飞1 张克亮1，2 （1中国科学院计算机语言信息工程研究中心 北京 100083 2 南京理工大学 南京 210094） Email: heyan.huang@263.net xiaofei_ustc@ 摘要：如何根据源语言文本从大规模语料库中找出其最相近的翻译实例，即句子相似度计算，是基于实例翻译方法的关键问题之一。本文提出一种多层次句子相似度计算方法：首先基于句子的词表层特征和信息熵从大规模语料库中选择出少量候选实例，然后针对这些候选实例进行泛化匹配，从而计算出相似句子。在多策略机器翻译系统IHSMTS中的实验表明，当语料规模为20万英汉句对时，系统提取相似句子的召回率达96%，准确率达90%，充分说明了本文算法的有效性。 关键词：句子相似度；基于实例的机器翻译； 多策略机器翻译；泛化匹配 中图法分类号：TP391 Approach of Large-Scale Sentence Similarity Computation HUANG He-yan CHEN Zhao-xiong ZHANG Xiao-fei (Research Center of Computer Language Information Engineering, CAS Beijing 100083) Email: heyan.huang@263.net xiaofei_ustc@ Abstract: The retrieval of the similar translation examples corresponding to the SL sentence from the large-scale corpora, or the computation of sentence similarity, is one of the key problems of EBMT. A new multi-layer sentence similarity computation approach is proposed in this paper. First, a few candidate translation examples are selected form a large-scale corpus on the basis of the surface features and entropies of the given words. Second, the degree of generalization match between the input sentence and each of those candidate translation examples is computed respectively. Finally, the sentence similarity is computed according to the outcomes of the previous two steps. Experimental results from tests on IHSMTS show that this approach has a recall rate of 96% and a precision rate of 90% when applied to a corpus of 200,000 English-Chinese sentence pairs. Key words: sentence similarity; example-based machine translation; hybrid-strategy machine translation; generalization matching 1 引言 基于实例的机器翻译EBMT（Example-based machine translation）的基本思路是：预先构造由双语对照的翻译单元对组成的语料库，然后翻译过程选择一个有哪些信誉好的足球投注网站和匹配算法，在语料库中寻找最优匹配单元对，最后根据例句的译文构造出当前所翻译单元的译文[1]。如何根据源语言文本找出其最相近的翻译实例，是基于实例翻译方法的关键问题之一。尤其是实用的EBMT系统所需要的翻译实例库都非常大，一般在百万级乃至千万级双语句对以上[2]。因此，如何从这么大的一个语料库库中高效地计算出相似的翻译实例，提供给后面的双语词对齐、类比翻译处理等模块，是影响EBMT系统翻译能否成功的关键因素之一。因为得不到有效的相似实例，其结果只有一个：导致EBMT翻译失败（或生成的译文质量很差）。 目前计算句子相似度的方法主要有：基于N元模型的方法[