基于条件随机场_CRFs_的中文词性标注方法.pdfVIP

计算机科学 2006Vol33 № 10 　 基于条件随机场( CRFs) 的中文词性标注方法 洪铭材 　张 　阔　唐 　杰 　李涓子 (清华大学计算机系知识工程组 　北京 100084) 　 摘 　要 　本文提出一种基于 CRFs 模型的中文词性标注方法 。该方法利用 CRFs 模型能够添加任意特征的优点 ,在 使用词的上下文信息的同时 ,针对兼类词和未登录词添加了新的统计特征 。在《人民日报》1 月份语料库上进行的封 闭测试和开放测试中 ,该方法的标注准确率分别为 98 . 56 %和 96 . 60 % 。 关键词 　词性标注 ,条件随机场 ,维特比解码 　 A Chinese Partofspeech Tagging Approach Using Conditional Random Fiel ds HON G MingCai 　ZHAN G Kuo 　TAN G J ie 　L I J uanZi ( Knowledge Engineering L ab , DCST , Tsinghua U niv . , Beij ing 100084) 　 Abstract 　Thi s p ap er p resent s a new app roach to p artofsp eech ( PO S) t agging for Chinese t ext s u sing conditional ran dom fields (CRFs) . To t ake advant age of t he abilit y of u sing arbit rary feat ures a s inp ut in CRFs , not only cont ext s of wor ds are exploit ed , but al so are new st ati stical feat ures adop t ed for multip lecat egory and outofvocabulary wor ds. Clo sed and op en t est s conduct ed on Peop le Daily dat a set obt ain PO S t agging accuracies of 98. 56 % and 96 . 60 % , re sp ectively . Keywords 　Partofsp eech t agging , Conditional random fields (CRFs) , Vit erbi decoding 　 本文使用 PFR 《人 民日报》标注语料库作为实验数据 。 1 　引言 实验结果表明 ,基于 CR Fs 的中文词性标注方法取得了很好 词性标注是自然语言处理的重要内容之一 ,是其他信息 的标注正确率 ,其封闭测试和开放测试的准确率分别为 98. 处理技术的基础 ,被广泛地应用于机器翻译 、文字识别 、语音 56 %和 96 . 60 % ,兼类词和未登录词的标注也取得了很好的 识别 、信息检索等领域 。目前基于统计的词性标注方法得到 结果 。 了广泛的应用并取得了很好的效果 。 文章的组织结构如下 :第 2 节介绍中文词性标注的相关 在基于统计方法的词性标注中 ,对兼类词和未登录词的 工作 ;第 3 节阐述 CR Fs 理论及其训练方法 ;使用 CRFs 进行 标注是两个需要解决的问题 。对于兼类词 ,可以根据该词的 中文词性标注的方法将在第 4 节