基于知网义原信息量的词语相似度计算方法.docxVIP

??

?

??

基于知网义原信息量的词语相似度计算方法

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

李国佳1，杨喜亮2

(1.华北水利水电大学软件学院；2.华北水利水电大学现代教育技术中心，河南郑州450045)

摘要：国内利用知网计算中文词语相似度通常采用基于义原距离的方法，这些方法依赖于公式设计和参数选取。根据信息论中计算两个事物相似度的思想，利用知网的分类体系来计算词语所包含的义原信息量，将义原及其角色关系的信息量作为词语相似度计算的基本单位，通过计算两个词语的共有义原及其角色关系的信息量和所有义原及其角色关系的信息量的比值来综合计算词语的相似度。实验结果证明，该方法合理可行。

关键词：义原信息量；角色关系；词语相似度；信息处理

DOI：10.11907/rjdk.151250

中图分类号：TP391文献标识码：A文章编号：1672-7800（2015）006-0142-03

作者简介：李国佳(1986-)，男，山西大同人，硕士，华北水利水电大学软件学院助教，研究方向为自然语言处理；杨喜亮(1981-)，男，河南郑州人，硕士，华北水利水电大学现代教育技术中心助教，研究方向为智能信息处理。

0引言

词语相似度计算在信息检索、文本分类、信息抽取、机器翻译等领域有着广泛应用。目前，词语相似度的计算方法主要有两大类：一类是基于距离的方法，如基于WordNet中词语结点的距离来计算英语词语的语义相似度［1］，基于知网（Hownet）义原距离来计算中文词语的语义相似度［2-3］；另一类是基于语料统计的方法，这类方法假设凡是语义相近的词语，它们的上下文也应该相似，利用上下文中词语的概率分布来计算词语相似度［4-5］。

自1999年知网（HowNet）正式发布以来，其受到越来越多研究人员的关注。基于知网计算中文词语的相似度也诞生了很多方法［2，6-8］，这些方法通常根据意义分解思想，将词语分解为更小单位（义原）参与相似度计算，再按照权重比例综合计算词语整体相似度。利用词语分解后的单位（义原）参与计算，割裂了描述词语的各个义原之间的关系，不能充分反应出词语间语义的相似性，计算结果也不够理想。

本文从整体性角度出发，给出一种基于义原信息量计算中文词语相似度的方法。基于知网的分类体系(Taxonomy)，将义原及其角色关系整体作为词语相似度计算的基本单位，保留了描述词语概念的各个义原间的关系，并依据信息论中计算两个事物相似度的思想［4］，用两个词语共有义原及其角色关系的信息量和所有义原及其角色关系的信息量来综合计算词语的相似度。

1知网义原信息量

1.1义原信息量

PhilipResnik最早提出基于信息量来计算语义相似度，在WordNet中，对于概念c，其信息量（InformationContent）表示为在某给定语料库中c出现的概率p(c)的负对数函数［5］，计算公式为：

icres（c）=－logp（c）（1）

根据Resnik的思想，对知网中的一个义原A，其信息量大小I（A）为：

I（A）=－logP（A）（2）

其中，P（A）表示义原A在某个语料库样本空间中出现的概率。计算语料库样本空间中某个义原出现的概率很困难。知网作为一个以各类概念及关系为描述对象的知识系统，其分类体系本身可以看作是各个义原出现的一个样本空间，那么仅依赖知网分类体系本身而不需其它语料库，作为计算义原出现概率的样本空间也是合理的。本文给出一种根据知网的分类体系来计算义原信息量的方法。

由义原组成的知网分类体系是一棵概念分类树，在每类义原树状层次结构（以下简称为义原树）中，根结点义原是分类类别，是最大的分类，其它义原都是根结点义原的子孙。可以认为，分支结点义原包含越多的子孙结点，其信息量越小。叶子结点是最小的分类，所有叶子结点的信息量是相同的。

选取知网中实体类、事件类、属性类、属性值类、次要特征所包含的2216个义原作为计算某颗义原树上义原出现概率的样本空间，将一个义原及其包含的子孙义原的数量作为该义原在样本空间中出现的次数，设p是某类义原树上的一个义原结点，则p的信息量I（p）计算方法为：

其中，Seme（p）是义原p包含的子孙义原的数量，MaxTree是该知网义原树上所有义原的数量。

1.2义原及其角色关系的信息量

在知网的知识词典中，每个词语由DEF来描述其概念。将DEF分为两部分：主类义原和特性描述部分。

定义1：义原及其角色关系。

在词语概念DEF的特性描述部分中，将义原及动态角色与特征（EventRoleandFeatures）［9］的层次结构的组合称为义原及其角色关系。

定义2：主类义原。

在词语概念DEF中，把描述词语概念最左边的第一个义原称为主类义原，也称为第0层义原及其角色关系。

例如词