基于分解与动态规划策略的汉语未登录词识别-中文信息学报.pdfVIP

中　文 　信 　息 　学 　报 第 15 卷 第 1 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 1 基于分解与动态规划策略的汉语未登录词识别① 吕雅娟 　赵铁军　杨沐昀　于浩 　李生 (哈尔滨工业大学计算机科学与技术学院　哈尔滨 　150001) 摘要 :未登录词的识别是汉语自动分词中的主要问题 。本文以对中国人名 ,中国地名和外国 译名进行整体识别为目标 ,采用分解处理策略降低了整体处理难度 ,并使用动态规划方法实现了 最佳路径的有哪些信誉好的足球投注网站 ,较好地解决了未登录词之间的冲突问题 。通过对真实语料识别的测试 ,证明该 方法可以全面提高未登录词识别的正确率和召回率 。 关键词 :未登录词识别 ;分解处理 ;动态规划 中图分类号 : TP391. 2 Leveled Unknown Chinese Words Resolution by Dynamic Programming L V Yaj an 　ZHAO Tiej un 　YAN G Muyun 　YU Hao 　L I Sheng ( School of Comp uter Science and Technology ,Harbin Instit ute of Technology Harbin 15000 1) Email : {lyj ,tj zhao ,ymy ,yu} @mtlab . hit . edu . cn Abstract :U nknown wor d resolution is a dilemma for automatic Chinese segment ation . Aiming at solving Chinese human names ,Chinese place names and t ranslated names of ot her language ,t his p aper p ut s forwar d a leveled unknown wor d resolution st rategy wit h dynamic p rogramming searching t he best p at h . This met hod successfully solves t he cont radictions among t hese unknown wor ds identification . Experiment on real corp us show s t hat t he p ropo sed met hod po ssesses a high performance . Key words :unknown wor d resolution ;leveled st rategy ;dynamic p rogramming 一 、引言 汉语自动分词是进行汉语自然语言处理的基础 。困扰汉语自动分词的一个主要难题就是 未登录词的识别 。所谓未登录词主要是指分词系统的词典中未收录的词 。汉语中未登录词的 种类很多 ,如中国人名 、中国地名 、外国译名 、缩略语 、重叠词 、品牌名等等 。由于这些未登录词 构词规律各异 ,数量众多 ,不可能全部收入词典中。但是如果文本中存在未被识别的未登录 ① 收稿日期 :2000 - 05 - 23 ( ) ( ) 基金项目:国家 863 计划 863 - 306 - ZT03 - 06 - 3/ 863 - 306 - ZD13 - 04 - 4 ; 国家自然科学基金 作者吕雅娟 ,女 ,1972 年生 ,博士研究生 ,主要研究方向为计算语言学. 28 词 ,除造成该处被割裂之外 ,还会造成难以用其他技术手段弥补的分词错误 ,直接影响到汉语 分词及整个句法分析的正确率 。尽管国内外从事汉语 自动分词的研究已