中文信息学报语料库词性标注一致性检查方法研究①.pdfVIP

中　文 　信 　息 　学 　报 第 18 卷 第 5 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No5 文章编号 :1003 - 0077 (2004) 05 - 00 11 - 06 语料库词性标注一致性检查方法研究① 张 　虎 ,郑家恒 ,刘 　江 ( 山西大学 计算机科学系 , 山西 太原 　030006) 摘要 :在对大规模语料库进行深加工时 ,保证词性标注的一致性已成为建设高质量语料库的首要问题 。 本文提出了基于聚类和分类的语料库词性标注一致性检查的新方法 ,该方法避开了以前一贯采用的规则或统 计的方法 ,利用聚类和分类的思想 ,对范例进行聚类并求出阈值 ,对测试数据分类来确定其标注的正误 ,进而 得出每篇文章的词性标注一致性情况 ,进一步保证大规模语料库标注的正确性 。 关键词 :计算机应用 ; 中文信息处理 ;词性标注一致性 ;兼类词 ;聚类 中图分类号 : TP39 1 　　　文献标识码 :A The Inspecting Method Study on Consistence of Part of Speech Tagging of Corpus ZHAN G Hu , ZHEN G J iaheng , L IU J iang (Depart ment of Computer , Shanxi Univer sit y , Taiyuan , Shanxi 030006 , China) Abstract : In t he deep processing of largescale corpus , it has been a chief problem to assure t he consistence of p art of sp eech tagging to build t he highquantity corpus. A new insp ecting met hod on consistence of p art of sp eech tagging based on clustering and classifying is put forward , firstly we cluster t he sequences of p art of sp eech of t he example and get t he t hreshold value , t hen classify t he test sequences to j udge it scorrect ness , furt hermore , we can know t he condition of t he consistence of p art of sp eech on every text , and assure t he correct ness of t he p art of sp eech tagging on largescale corpus furt her . Key words : computer application ; Chinese information processing ; t he consistence of p art of sp eech tagging ; conver sion of p art s of sp eech ; clustering 1 　引言 随着语料库语言学研究的兴起 ,建设高质量的大规模语料库已成为首要任务 。语料库作 为研究资源其价值是通过对语料的标注来体现的。目前对汉语语料库的标注包括词语切分 、 词性标注 、句法标注等 。对语料库标注的越准确 ,语料库的价值就越高 。 近年来国内外对汉语的词性 自动标注的研究有很多 , 已取得很大进展 。它们大多是采用 基于规则和基于统计的方法 ,标注正确率分别达到 89 %和 96 % ,对错误标注结果进行分析 ,可 以看出 ,无论哪种标注算法都有其固有缺陷 ,概