蒙古语词法分析的有向图模型蒙古语词法分析的有向图模型.pdf

蒙古语词法分析的有向图模型* 姜文斌 1 吴金星 2,1 长青 2,1 那顺乌日图 2 刘群 1 赵理莉 3,1 1 （中国科学院计算技术研究所 北京，100190） 2 （内蒙古大学蒙古学学院 呼和浩特，010021 ） 3 （河南师范大学计算机与信息技术学院 河南新乡，453007 ） (jiangwenbin@ict.ac.cn ) 摘 要：我们为蒙古语词法分析建立了一种生成式的概率统计模型。该模型将蒙古语语句的词法分析结果 描述为有向图结构，图中节点表示分析结果中的词干、词缀及其相应标注，而边则表示节点之间的转移或 生成关系。特别地，在本工作中我们刻画了词干到词干转移概率、词缀到词缀转移概率、词干到词缀生成 概率、相应的标注之间的三种转移或生成概率，以及词干或词缀到相应标注相互生成概率。以内蒙古大学 开发的 20 万词规模的三级标注人工语料库为训练数据，该模型取得了词级切分正确率 95.1%，词级联合切 分与标注正确率 93%的成绩。 关键词：蒙古语 词法分析 词语切分 词性标注 词干提取 有向图 Directed Graph Model for Mongolian Lexical Analysis JIANG Wen-Bin1 WU Jin-Xing2,1 Chang-Qing2,1 Nasanurtu2 LIU Qun1 ZHAO Li-Li3,1 1 （Institute of Computing Technology, Chinese Academy of Sciences, Beijing, P.R.China, 100190 ） 2 （Inner Mongolian University, Huhhot, P.R.China, 010021 ） 3 （Henan Normal University, Xinxiang, Henan, P.R.China, 453007 ） (jiangwenbin@ict.ac.cn) Abstract: We propose a generative statistical model for Mongolian lexical analysis. This model describes the lexical analysis result as a directed graph, where the nodes represent the stems, affixes and their tags, while the edges represent the transition or generation relationships between nodes. Especially in this work, we adopt three kinds of transition or generation probabilities: a) probabilities of stem-stem transition, affix-affix transition and stem-affix generation; b) the transition or generation probabilities between the corresponding tags; and c) the generation probabilities between stems or affixes and their tags. Using the 3rd-level annotated corpus with about 200,000 words as the training data, this model achieves a