《8件：基于trigger对的长距离蒙古语语言模型0625.docVIP

基于trigger对的长距离蒙古语语言模型* 刘志文1, 侯宏旭1, 李沙茹拉2，柳林1 (1.内蒙古大学计算机学院，内蒙古呼和浩特 010021； 2.内蒙古大学电子信息工程学院，内蒙古呼和浩特 010021) 摘 要:为了克服在蒙古语语言模型建模过程中n-gram缺乏长距离信息的弱点,本文在统计语言模型的基础上,提出了一种基于trigger对的长距离蒙古语语言模型，该模型采用统计方法进行自然语言建模。本文简要介绍了基于trigger对的长距离蒙古语语言模型，并给出了句长补偿、参数估计和数据平滑方法，并在汉语-蒙古语机器翻译系统实现了该方法，实验结果表明该技术克服了n元文法语言模型描述距离小于n的缺点，并提高了翻译效果，该模型也为自然语言建模提供了一定的参考。 中图分类号：TP391 文献标识码：A Long-Distance Mongolia Language Model Based on Trigger Pair Liu Zhiwen1, Hou Hongxu1, Li Saragul2, Liu Lin1 (1. College of Computer Science, Inner Mongolia University, Hohhot 010021,China; 2. College of Electronic Information Engineering, Inner Mongolia University, Hohhot 010021,China;) Abstract: To overcome the n-gram’s lack of long-distance information in Mongolian language modeling process, this paper puts forward to long-distance Mongolia language model based on trigger pair to natural language modeling process. Long-distance Mongolia language model adopts the statistical method to setting up the natural language models. This paper introduces the long-distance Mongolia language model, gives methods of sentence compensation, parameters estimate and data smoothing. The experimental results show that this model can overcome the shortcoming of n-gram model that it only can describe the word pairs being less then n words apart, improves the translation results, and also provide some reference for setting up the natural language models. Key words: Trigger pair; Mongolian; Language model; Smoothing 1 引言 统计在机器翻译、文字处理、文字检索等领域有着广阔的应用。作为机器翻译的一项基础性工作，蒙古语语言模型的建立汉语、英语等语言语言模型。本文作者针对蒙古语语言的特点提出了一种新的蒙古文统计语言模型即基于trigger对的长距离蒙古语语言模型，并应用于汉-蒙机器翻译系统。 蒙古语属于黏着型语言。蒙古语的构词，构形都是通过在词干后缀接不同的词尾而实现的，并且它们还可以层层缀接，这使得蒙古语词法形态变化丰富且复杂。 蒙古语的构形附加成分负载着非常丰富的语法信息，所以只对整词（即词干+构形附加成分）或者词干进行，就会丢失大量语法信息，而这些信息蒙古语语言“工厂里工人们在工作”为例： 名词“工人们”可以切分为一个词干和两个词缀，这会带来问题：如果用常用的n-gram来分析，分析的结果是某个字内部的词干词缀的关系，而没有反应出两个或更多文字之间的联系。，语言信息可以反映出3个字之间的而蒙古语在进行了词干、词缀切分后，依然，那么反映出的可能是2个字甚至1个字为反映，作者使用了trigger对来长距离上的信息。 如果词A的出现使得后文中词B出现，则称（AB）为一个trigger对。其中A称作触发者（trigger），B称作被触发者（t