I基于概念间边权重的概念相似性计算方法.docVIP

基于概念间边权重的概念相似性计算方法 文章编号:1001-9081(2012)01-0202-04 doi:10.3724/sp.j.1087.2012.00202 摘 要: 介绍了传统的基于距离的相似度计算方法，针对其在距离计算中包含语义信息不充足的现状，提出了一种改进的使用wordnet的基于概念之间边的权重的相似性度量方法。该方法综合考虑了概念在词库中所处层次的深度和密度，即概念的语义丰富程度，设计了一种通用的概念语义相似性计算方法，该方法简化了传统语义相似性算法，并解决了语义相似性计算领域的相关问题。实验结果表明，所提方法在rubenstein数据集上与人工判断有着0.9109的相关性，与其他经典的相似性计算方法相比有着更高的准确性。 关键词: 概念相似度计算；wordnet；边权重；语义信息 中图分类号: tp393.08 文献标志码:a  abstract: the traditional distance-based similarity calculation method was described. concerning that the method of distance calculation does not contain sufficient semantic information, this paper proposed an improved method which used wordnet and edge weighting information between the concepts to measure the similarity. it considered the level of depth and density of concepts in corpus, i.e. the semantic richness of concept. using this method, the authors can solve the semantic similarity calculation issues and make the calculation of similarity among concepts easy. the experimental results show that, the proposed method has a 0.9109 correlation with the benchmark data set-rubenstein concept pairs. compared with the classical method, the proposed method has higher accuracy. key words: concept similarity calculation; wordnet; edge weight; semantic information 0 引言 词与词之间的相似性研究多年来一直是自然语言处理和信息检索的一部分，是正确理解文本内容的关键，在计算机语言学和人工智能及应用中语义相似性问题都比较普遍，比如词义消歧、文档分类或聚类、词语拼写纠错、自动翻译、本体学习和信息检索等。 语义相似性是比较词语之间的匹配程度也可以理解成分类学上的接近程度，比如两个概念含有共同的父概念，那么它们的相似性就比较高。但是词语之间的互联不仅仅是这种分类上的父子关系还有很多语义上的关联，这样本文引入了语义相关性的概念，语义相关性是概念之间通过某种联系而产生关联，本文用方法识别出这种关联使这种关联能被计算理解这样就达到了使用语义信息。在概念之间进行语义相关的计算都是在已经存在并建好的知识库中进行的，比如wordnet［1］,wordnet是由普林斯顿大学认知语言实验室开发的一个词库。 在近几十年间很多语义相似性的算法被提出，这些方法主要可以分为以下几类： 1）基于距离度量的相似性算法； 2）基于信息量的相似性算法； 3）基于向量空间的相似性算法； 4）综合以上几种方法的计算方法。 文献［2］提出一种计算词之间的最短路径的算法，通过这个最短路径来衡量两个概念之间的相似性；wu等［3］引入最小共同父概念来表示两个概念的共性的多少；leacock等［4］提出的算法都是从路径长度以及概念的深度上考虑概念之间的相似性；li等［5］则以非线性函数的形式对最短路径和最小共同父概念组合进行计算；al-mubaid等［6］提出了一种结合最短路径长度和最小上层父概念深度的基于簇的方法，它为每一个层次上分支结构到根节点的部分定义一个簇，使得低层次上的概念对的相似度比高层次上的相似性高；lin等［7］提出的基于信息量的