二次回溯中文分词的方法.docVIP

二次回溯中文分词的方法 　　摘 要:在最大匹配法(MM)的基础上,提出了二次回溯中文分词方法。该方法首先对待切文本进行预处理,将文本分割成长度较短的细粒度文本;利用正向匹配、回溯匹配、尾词匹配、碎片检查来有效发现歧义字段;利用长词优先兼顾二词簇的方式对交集型歧义字段进行切分,并对难点的多链长交集型歧义字段进行有效发现和切分。从随机抽取的大量语料实验结果上证明了该方法的有效性。 　　关键词:中文分词; 回溯匹配; 交集型歧义; 多链长; 碎片检查 　　中图分类号:TP391文献标志码:A 　　文章编号:1001-3695(2009)09-3321-03 　　doi:10.3969/j.issn.1001-3695.2009.09.034 　　 　　Two times backtracking chinese word segmentation method 　　YUAN Jian??a??, ZHANG Jin-song??a??, MA Liang??b?? 　　(a.School of Optical-Electrical Computer Engineering, b.Business School, University of Shanghai for Science Technology, Shanghai 200093, China) 　　Abstract:This paper proposed two times backtracking Chinese word segmentation method based on the MM. The text was pretreatment by the method in the first, then cut the text into shorter lengths granular text. Found ambiguity field effective by forward matching method, backtracking matching, last words matching and debris inspection. Cut crossing ambiguity field by long term priorities and 2-words rules, and found the difficult and multi-linked crossing ambiguity field and cut effectively. The large number of randomly selected language materials being tested and results show that method is effective. 　　Key words:Chinese word segmentation; backtracking matching; crossing ambiguity; multi-linked; debris inspection 　　 　　0 引言 　　 　　中文信息处理的特有问题就是如何将汉语的字串分割为合理的词语序列。中文分词是句法分析等深层中文信息处理的基础,也是机器翻译、信息检索和信息抽取等智能化信息处理的关键所在[1,2]。而中文分词的主要困难在于切分歧义消解和未登录词语的识别,这也是世界上最令计算机感到棘手的语言现象之一[3~5]。中文分词方法中机械分词法主要包括正向最大匹配法(maximum matching method ,MM)、逆向最大匹配法(reverse direction maximum matching method ,RMM)和最少切分法。目前机械式分词占主流地位的是正向最大匹配法和逆向最大匹配法,这两种方法是利用一个分词词表进行模式匹配来切分,不依赖词法、句法和语义知识,切分速度快、简洁、易于实现,在各种中文信息处理上得到了广泛的应用;缺点是对于歧义字段无法有效地识别和切分。统计结果表明,单纯使用正向最大匹配的错误率为1/169;单纯使用逆向最大匹配的错误率为1/245[6],但这种精度还不能满足智能信息处理以及人机交互的要求,对词义消歧(word sense disambiguation,WSD)是计算语言学和自然语言处理领域一个重要的研究课题,也是近些年来该领域的热点研究问题之一[7]。本文在正向最大匹配法的基础上,提出二次回溯中文分词方法(简称二次回溯法),该方法对歧义字段能有效地识别和切分,大大提高分词的召回率和查准率。 　　 　　1 相关概念 　　 　　歧义字段分为交集型歧义字段和多义型歧义字段两类,为行文