基于动态流通语料库的VSM新词发现策略.pdf

1 基于动态流通语料库的VSM新词发现策略 颜伟 北京语言大学语言信息处理研究所 北京 100083 E-mail: yanwei@blcu.edu.cn ① 摘要：本文以《现代汉语新词语信息电子词典》 的已有成果为基础，探讨了基于动态流通 语料库的新词发现策略。并提出基于动态流通语料库的改进VSM 的新词发现方法及其新词 评价。 关键词：动态流通语料库，新词发现，VSM，新词评价 Abstract ：Based on the New Words and Phrases Dictionary, this article mainly talks about the New Words Mining from the Dynamic Current Corpus. And also provides a means of New Words Mining, which is Modified VSM Method and New Words Judging based on the Dynamic Current Corpus. Keywords ：The Dynamic Current Corpus, New Words Mining, VSM, New Words Judging 0. 引言 新词语“洪波涌起”是近些年来现代汉语词汇流变的主要趋势和基本特色。新词语的出 现是不可抗拒的，无论你愿意或不愿意。对新词语进行整理研究，这无论是对现代汉语词汇 的研究还是对中文信息处理都有积极的意义。而如何进行新词语的自动发现又是人们一直关 注的焦点。许多专家从不同角度采用不同的方法和策略进行新词自动发现并取得可喜的成 果。但这些成果多为后验性解决策略②。本文拟从新词语产生的语言学和社会心理角度探讨 新词语产生的原因，并探讨基于动态流通语料库的改进VSM新词发现策略。 1. 基于语料库的现代汉语新词语研究初步③ 1.1：新词语的产生途径 新词语的产生途径我们考察主要有新造词语、旧词新用或产生新义、方言词语扩大使用 范围进入通用词汇、外来词语、术语扩大使用范围进入通用词汇、某些修辞用法固定下来构 成新词语、简略原来的词语而成新词语七种。其中新造词语31549 个，占81.6%；旧词新用 1304 个，占3.37% ；方言词语380 个，占0.98% ；外来词语476 个，占 1.23%；术语1604 个，占4.45% ；修辞固定下来的有977 个，占2.53% ；简略词语2343 个，占6.06% 。 通过研究我们发现：创造新词语仍然是词语产生的重要途径，简略词和术语尤其是术语 进入通用领域也是值得研究的重要的途径。 1.2：新词语的音节趋势 新词语的音节有单音节、双音节、三音节、四音节、五音节——最多15 个音节，其中单 音节 176 个，占0.46% ；双音节17251 个，占044.62 % ；三音节7652 个，占19.8 %；4 1感谢北京语言大学张普教授对本文的指导，同时感谢师兄王强军博士在讨论中对我的指点和启发 音节8940 个，占23.14 % ；5 音节2363 个，占6.11%；6 音节 1075 个，占2.78% ；7 音节 526 个，占 1.36%；8 音节353 个，占0.91% ；9 音节 134 个，占0.35% ；10 音节75 个；11 音节38 个；12 音节 17 个；13 音节 19 个；14 音节8 个；15 音节5 个。 可见新词语总的趋势是向多音节化发展，其中双音节最多，双音节、三音节、四音节占 绝对优势。 1.3：新词语的词类 新词语主要有名词、动词、形容词、区别词五类。其中名词24866 个，约占新词总量的 64.32%；动词11342 个，约占新词总量的29.57% ；形容词1002 个，约占新词总量的2.59% ； 区别词119 个，占0.31% 。 新词语主要集中在实词上，虚词一个没有，而且实词中主要集中在有限的几个类上，其 中以名词和动词最多。 1.4：新词语构词法 新词语的构词法方面，合成词38345 个，占99.19%