,1已}氏1氏}、1、}。}L}fla.PDF

西北工业大学硕士学位论文 第五章 中文分词 其中，C:代表该汉字:PO:代表以该字作为前缀的首词在词典正文中的位 置;已:代表以该字作为前缀的尾词在词典正文中的位置;flag:代表以该字为 前缀的词条是否只有单字词的标志。 2、词索引表 对于词典正文中的每一个词在词索引表中都有唯一的一项与其对应，词索引 表中每一项的结构如下: 1，1已}氏1氏}、1、}。}L}flag} 其中，，:代表该词;P。:代表以该词前1个汉字组成的词在词典正文中第 一次出现的位置，其中1从2到7;L:代表以该词为前缀的词条数目:flag: 代表以该词为前缀的词条是否只有该词的标志。 3、词典正文 词典正文是以词为单位的有序表。 5.2.4词条查找算法 算法1、构造分词词典算法 使用这种分词词典查找某个特定的词条之前，要首先构造分词词典系统。本 文先对词典正文进行排序，然后根据词典正文构造分词词典系统，具体算法如下: voidbuildindex(String乳rd[1) /*o，rd][为有序的词典正文数组，构造好的索引表分别存放在首字Hssh表Hcash和词 索引表I，nde笠中*/ cHasb[][4]二首字枷sh表数组; 抓ndxe][9[1二词索引表数组: ucr份ord6[1二当前处理的词条，初始值都为unll: 卯6[1二以该词前1汉字组成的单词在词典正文中的位置，初始值都为。: N6[卜需要向前建立索引的词条数目，初始值都为。: (1) 初始化cHash将标志fl昭设置为1(是): (2) 初始化，Index将标志flag设置为1(是)，将P，都设置为一1(其中1从2到7): curChr=a 啊‘’:刀当前处理的词条首字 c阳二。;刀以该字作为前缀的首词在词典正文中的位置 PcI习;刀以该字作为前缀的尾词在词典正文中的位置 ofri(=。;1物rd.lnegth:i++)刀对词典正文数组中每一词条进行索引 { 刀对首字Hash表进行处理 if(为rd[1〕.charat(0)二二curChar)//如果，ord[1]词条的首字等于curChra 1 cPI二1; 西北工业大学硕士学位论文 第五章 中文分词 else//如果份叮d]1【词条的首字不等于ucrchar，则要对首字Hahs表进行处理 { q二curChar的高字节一176: rcu式hra的低字节一161; offset=q*49勺: cHash[offset〕[0]=curChar; cHash[offset][1]二c阳; cHash[offsetl[2]=cPI; cP)I二1; cPI二1: if(cP)IcPI) { //如果以该字为前缀的词条有多个，则将标志设置为0(否) c池sh[offsetl[3]刃: } } //对uc礴rod[6〕进行赋植 for徒0;.6;.什) f if(cur份ord阮]=二null) f cur，ord脑]二而rd[1].usbstring0(，口+2); l } 刀对词索引表进行处理 ofr(口月:m=而rd[1].length();m++) { if(而rd[1].indexof(cur贾ord[犷2])!二一1) { 刀如果枷rd 1〔」词条以ucr节ord[介2〕为