基于无向图序列标注模型的中文分词词性标注一体化系统.pdf

第32卷第3期电子与信息学报Vbl．32No．3

Journalof

2010年3月Electronics＆InformationMar．2010

Technology

基于无向图序列标注模型的中文分词词性标注一体化系统

朱聪慧赵铁军郑德权

(教育部一微软语言语音重点实验室哈尔滨工业大学哈尔滨1500011

摘要：在中文词法分析中，分词是词性标注必须经历的阶段。为了能在分词阶段就充分利用词性标注的信息和减

少两阶段错误的累计，最好的方法是将两个阶段，整合到一个架构中。该文以无向图模型为基础，将分词和词性标

注有机地统一在一个序列标注模型中。由于可以采用更深层次的依赖关系作为特征，一体化系统在1998年人民日

报语料上取得了97．19％的分词精确率和95．34％的词性标注精确率，是目前同类系统，在这一语料上取得的最好结

果。

关键词：中文分词；词性标注；一体化系统；无向图模型

中图分类号：TP391文献标识码：A

DOI：10．3724／SP．J．1146．2009．00214

JointChineseWordandPOS

SegmentationTagging

withUndirectedModels

SystemGraphical

ZhuZhao

Cong—huiTie-junZhengDe-quan

and

(MinistryolEducation—MicrosoftKeyLaboratory∥NaturalLanguageSpeech，

Processing

HarbinInstitute

ofTechnology，Harbin

150001，China)

Abstract：ForChineseisareduce

segmentationpreliminary

Part—Of-Speech(POS)tagging，wordstep．To

accumulatederrorsbetweentwoandthePOS

stepsimprovesegmentationperformancebyutilizinginformation，

andPOScall

bethisandPOS

segmentationtaggingperformedsimultaneously．Inpaper．ajointsegmentation

isbasedonundirectedcallmakeuse

modelswhichfullofthe

taggingsystempr