汉语自动分词中中文地名识别.pdf

第46 卷第4 期 . 46, . 4 大 连 理 工 大 学 学 报 Vol No 2 0 0 6 年 7 月 . 2 0 0 6 Journa l of Da lian Un iversity of Technology Jul ( ) 文章编号: 2006 汉语自动分词中中文地名识别 高 　 红, 　黄 德 根 , 　杨 元 生 ( 大连理工大学 计算机科学与工程系, 辽宁 大连　116024 ) 摘要: 以词语级的中文地名为识别对象, 根据地名内部用字的统计信息和地名构成特点产 生潜在地名. 在汉语自动分词中将可信度较高的潜在地名等同于句子的候选切分词, 利用候 选切分词本身的可信度和上下文接续关系评价句子的各种切分方案. 在确定句子最佳切分 时 识别句子 中的中文地名. 对真实语料进行封 闭和开放测试, 封 闭测试结果为召回率 93. 55% , 精确率 94. 14% , F1 值 93. 85% ; 开放测试结果为召回率 91. 27% , 精确率 73. 48% , F 1 值 81. 42%. 取得了比较令人满意的结果. 关键词: 中文地名识别; 汉语自动分词; 未登录词识别 中图分类号: TP 391. 12 文献标识码: A 0　 引　 言 桥镇”、“南化村”等, 其中“临川”、“双桥”、“南化” 为地名专名, “市”、“镇”、“村”为地名通名. 单字 未登录词是影响汉语自动分词精度的主要因 通名包括行政区划名称, 如“省、市、县、区、乡、镇、 素. 未登录词识别也受到不正确分词结果的影 村、旗、州、府”等, 也包括表示地形地貌 的, 如 响. 因此, 研究者们提出了各种基于单个汉字的 “江、河、山、洋、海、岛、峰、湖”等, 还包括表示 自 未登录词识别方法[ 1、2 ]. 本文就未登录词中的中 然区划的“街、路、巷、庄、堡”等. 在地名识别中, 文地名识别进行研究, 在基于单个汉字产生潜在 单字通名被称为地名特征字, 地名特征字属于地 地名的基础上将中文地名识别与汉语自动分词同 名 内部用字, 即地名尾字. 如果地名由专名和两 时进行, 这样可以避免不正确的分词结果对地名 字以上的通名构成, 本文只标识其专名部分, 如在 识别的负面影响. 根据地名内部用字的统计信息