中文信息学报一种中文分词词典新机制———双字哈希机制-第四纪研究.PDFVIP

中　文 　信 　息 　学 　报 第 17 卷 第 4 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 17 No4 文章编号 :1003 - 0077 (2003) 04 - 00 13 - 06 一种中文分词词典新机制 ———双字哈希机制① 李庆虎 ,陈玉健 ,孙家广 (清华大学 计算机系 ,北京 　100084) 　　摘要 :汉语自动分词是汉语信息处理的前提 ,词典是汉语 自动分词的基础 ,分词词典机制的优劣直接影 响到中文分词的速度和效率 。本文首先分析了分词词典机制在中文分词中的重要性及已有的三种典型词典 机制 ,并在此基础上根据汉语中双字词语较多的特点提出了一种新的分词词典机制 ———双字哈希机制 ,在不 提升已有典型词典机制空间复杂度与维护复杂度的情况下 ,提高了中文分词的速度和效率 。 关键词 :计算机应用 ; 中文信息处理 ; 中文分词 ;双字哈希 中图分类号 : TP39 1. 1 　　　文献标识码 :A A Ne w Dictionary Mechanism f or Chinese Word Segmentation L I Qinghu ,CHEN Yujian ,SUN J iaguang (Depart ment of Computer Science and Technology , Tsinghua Univer sit y ,Beijing 　100084 ,China) Abstract :Chinese word segmentation is t he prep aration for Chinese Information Processing. As one basic component of Chinese word segmentation systems , t he dictionary mechanism influences t he sp eed and efficiency of segmentation significantly . In t his p ap er , we provide a new dictionary mechanism named doublecharacterhashindexing (DCHI) . Comp ared wit h existing typical dictionary mechanisms (i . e . binaryseekbyword , TR IE indexing tree and binaryseekbycharacters) , DCHI improves t he sp eed and efficiency of segmentation wit hout increasing t he sp ace and time complication and maintenance difficulty . Key words :computer application ; Chinese information processing ; Chinese word segmentation ; dictionary mecha nism ; double character hash indexing 一 、引言 　　汉语自动分词是汉语信息处理的前提 ,广泛应用于中文全文检索 、中文 自动全文翻译 、中 ( ) [ 1 ,2 ] 文文语转换 T TS 等领域 。自动分词的基本算法主要分为两大类 :基于词典的分词方法 和基于频度统计的分词方法[6 ,7 ] 。具体应用时的不同算法则是二者不同程度的组合 。 基于词