基于《知网》的词汇语义相似度计算.docVIP

基于《知网》的词汇语义相似度计算 刘群?? 李素建? {liuqun,lisujian}@ ? 中国科学院计算技术研究所 ? 北京大学计算语言学研究所 摘要： 《知网》是一部比较详尽的语义知识词典。在基于实例的机器翻译中，词语相似度计算是一个重要的环节。不过，由于《知网》中对于一个词的语义采用的是一种多维的知识表示形式，这给词语相似度的计算带来了麻烦。这一点与WordNet和《同义词词林》不同。在WordNet和《同义词词林》中，所有同类的语义项（WordNet的synset或《同义词词林》的词群）构成一个树状结构，要计算语义项之间的距离，只要计算树状结构中相应结点的距离即可。而在《知网》中词语相似度的计算存在以下问题： 每一个词的语义描述由多个义原组成，例如“暗箱”一词的语义描述为：part|部件,%tool|用具,body|身,“写信”一词的语义描述为：#TakePicture|拍摄write|写,ContentProduct=letter|信件； 词语的语义描述中各个义原并不是平等的，它们之间有着复杂的关系，通过一种专门的知识描述语言来表示。 我们的工作主要包括： 研究《知网》中知识描述语言的语法，了解其描述一个词义所用的多个义原之间的关系，区分其在词语相似度计算中所起的作用； 提出利用《知网》进行词语相似度计算的算法； 通过实验验证该算法的有效性，并与其他算法进行比较。 关键词：《知网》 词汇语义相似度计算 自然语言处理 引言 在基于实例的机器翻译中，词语相似度的计算有着重要的作用。例如要翻译“张三写的小说”这个短语，通过语料库检索得到译例： 1）李四写的小说／the novel written by Li Si 2）去年写的小说／the novel written last year 通过相似度计算我们发现，“张三”和“李四”都是具体的人，语义上非常相似，而“去年”的语义是时间，和“张三”相似度较低，因此我们选用“李四写的小说”这个实例进行类比翻译，就可以得到正确的译文： the novel written by Zhang San 如果选用后者作为实例，那么得到的错误译文将是： * the novel written Zhang San 通过这个例子可以看出相似度计算在基于实例的机器翻译中所起的作用。 在基于实例的翻译中另一个重要的工作是双语对齐。在双语对齐过程中要用到两种语言词语的相似度计算，这不在本文所考虑的范围之内。 除了基于实例的机器翻译之外，词语相似度计算在信息检索、信息抽取、词义排歧等领域都有着广泛的应用。 词语相似度及其计算的方法 什么是词语相似度 什么是词语相似度？ 我们认为，词语相似度是一个主观性相当强的概念。脱离具体的应用去谈论词语相似度，很难得到一个统一的定义。因为词语之间的关系非常复杂，其相似或差异之处很难用一个简单的数值来进行度量。从某一角度看非常相似的词语，从另一个角度看，很可能差异非常大。 不过，在具体的应用中，词语相似度的含义可能就比较明确了。例如，在基于实例的机器翻译中，词语相似度主要用于衡量文本中词语的可替换程度；而在信息检索中，相似度更多的要反映文本或者用户查询在意义上的符合程度。 本文的研究主要以基于实例的机器翻译为背景，因此在本文中我们所理解的词语相似度就是两个词语在不同的上下文中可以互相替换使用而不改变文本的句法语义结构的程度。两个词语，如果在不同的上下文中可以互相替换且不改变文本的句法语义结构的可能性越大，二者的相似度就越高，否则相似度就越低。 相似度是一个数值，一般取值范围在[0,1]之间。一个词语与其本身的语义相似度为1。如果两个词语在任何上下文中都不可替换，那么其相似度为0。 相似度这个概念，涉及到词语的词法、句法、语义甚至语用等方方面面的特点。其中，对词语相似度影响最大的应该是词的语义。 词语相似度与词语距离 度量两个词语关系的另一个重要指标是词语的距离。 一般而言，词语距离是一个[0,∞)之间的实数。 一个词语与其本身的距离为0。 词语距离与词语相似度之间有着密切的关系。 两个词语的距离越大，其相似度越低；反之，两个词语的距离越小，其相似度越大。二者之间可以建立一种简单的对应关系。这种对应关系需要满足以下几个条件： 两个词语距离为0时，其相似度为1； 两个词语距离为无穷大时，其相似度为0； 两个词语的距离越大，其相似度越小（单调下降）。 对于两个词语W1和W2，我们记其相似度为Sim(W1,W2)，其词语距离为Dis(W1,W2)，那么我们可以定义一个满足以上条件的简单的转换关系： …… (1) 其中α是一个可调节的参数。α的含义是：当相似度为0.5时的词语距离值。 这种转换关系并不是唯一的，我们这里只是给出了其中的一种可能。 在很多情