中文分词研究现状.ppt

Bakeoff2007–香港城市大学在Bakeoff2006数据上的实验，展示了CRF模型计算的开销：赵海的博客CRF的计算负载一般要比ME高一个数量级——赵海Bakeoff2007–MSRANEUBasicCRFTagger标注集：沿用MSRA在Bakeoff2006的6词位标注特征模板集：在MSRABakeoff2006的基础上增加了WordFlagWordBasedSegmenter对每句，用三元语言模型切词，选择概率最大的3种方式。对某个字，如果基于字的标注的概率小于某个阈值，则使用基于词的标注，用以提高已登录词的召回率。但是，如果该字基于词的标注是“独立成词”，那么使用基于字的标注。这种做法的原因是：基于词的标注常常将未登录词切分为单字。Post-processingRule处理一种特定情况：一个未登录词常常被分为多个词。处理当前句子时，缓存前20个句子，如果存在2-7个字组成的字符串重复出现，次数超过阈值，且这个字符串没有在训练数据中出现过，那么这个字符串加入候选词。Bakeoff2007–法国电信北京研发中心ProblemsofNERwithonlylocalinformation“Manyempiricalapproaches…makedecisiononlyonlocalcontextforextractinference,whichisbasedonthedataindependentassumption.Butoftenthisassumptiondoesnotholdbecausenon-localdependenciesareprevalentinnaturallanguage.”ObservationfromExperiments:Therearemanyseennamedentitiesaremissed;Atleast10%ofunseenandmissednamedentitieshavebeenlabeledoutcorrectlyforatleastonce.“Ifthecontextsurroundingoneoccurrenceofatokensequenceisveryindicativeofitbeinganentity,thenthisshouldalsoinfluencethelabelingofanotheroccurrenceofthesametokensequenceinadifferentcontextthatisnotindicativeofentity”.Bakeoff2007–法国电信北京研发中心Bakeoff2007–法国电信北京研发中心LocalFeaturesUnigram:Cn(n=-2,-1,0,1,2)Bigram:CnCn+1(n=-2,-1,0,1)andC-1C10/1FeaturesAssign1toallthecharacterswhicharelabeledasentityand0toallthecharacterswhicharelabeledasNONEintrainingdata.Insuchway,theclassdistributioncanbealleviatedgreatly,takingBakeoff2006MSRANERtrainingdataforexample,ifwelabelthecorpuswith10classes,theclassdistributionis: 0.81(B-PER),1.70(B-LOC),0.95(BORG),0.81(I-PER),0.88(I-LOC),2.87(I-ORG),0.76(EPER),1.42(E-LOC),0.94(E-ORG),88.86(NONE)ifwechangethelabelschemeto2labels(0/1),theclassdistributionis: 11.14(entity),88.86(NONE)Bakeoff2007–法国电信北京研发中心Non-localFeaturesToken-positionfeatures(NF1)These