现代汉语新词提研讨.pdf

摘要 摘 要 现代汉语新词提取研究的目的是从文本中自动识别并提取出新词，也是中文信息处 理中未登录词识别的一种特殊情况。随着社会的发展，新词大量涌现，新词的识别和提 取研究就越来越受到人们的重视。作为在中文信息处理中具有关键性作用的分词技术的 重要环节，现代汉语新词提取具有重要的研究意义。 目前，语言学家对现代汉语新词研究的许多成果都无法直接在计算机上实现，仅有 有限的构词规则能运用到新词识别当中去。而基于统计的方法力图用成词概率、互信息 等大量词语的统计特征来进行新词识别，但是统计得出的规律受所用语料的影响较大， 很难反映出新词结构的真正特点和本质规律。因此，新词识别和提取仍是有待解决的难 题。 本文尝试把新词的提取分成两个阶段：新词语素的识别：含新词语素的新词提取。 针对不同阶段的特点提出相应的方法：首先，提出了基于决策树的新词语素识别，把新 词语素识别看作一个二值分类问题，选取单字成词概率、单字词性等作为描述属性，用 C5算法构建决策树；然后，在找到新词构词语素的基础上，借鉴新词构词法研究的成 果，分别构造二字新词和三字新词的构词规则，利用规则提取出二字和三字新词。实验 证明，这种新词提取的方法是可行的。 关键词 中文信息处理未登录词识别 新词提取新词语素识别 决策树 Abstract Abstract The ontheextractionofnewwordsinmodem isa caseof study Chinese，which special unknownwordsin tO thenewwords identifying recognize Chinese—information-processing，is andextractthem the ofthe words automatically．Witlldevelopment society,newemerge晰廿1 a the andextractionofthenewwords moreandmore greatamount，andrecognition gains attention．Theextractionof newwordsis an importantstepin the ismore toour Chinese—information-processing，andobviously，itsstudy meaningful practical applications． resultsonthe ofthe havebeenrealizedonthe now,few By study linguistic computer that afewrulesaboutword has only formationbeenused