综合型语言知识库系统-华信教育资源网.PDF

第 2 章 综合型语言知识库系统 语言知识库是自然语言处理系统不可或缺的组成部分，语言知识库的规模 和质量在很大程度上决定了自然语言处理系统的成败，这已经成为学界的共识。 本章首先简要介绍国内外有代表性的语言知识库系统；其次，详细介绍ICL/PKU 已有的综合型语言知识库，包括数据资源和工具软件；最后，介绍综合型语言 知识库系统的构建思想、总体建设规划及完成的主体功能模块。 2.1 国内外相关研究 语言知识库的建设涉及语言知识的整理、发现、形式化、规范化等工作， 语言知识库的 内容和知识表现形式是多样的。广义上，语言知识库包括词汇知 识库、语料库、规则库及各种处理工具等。其中，词汇知识库主要描述词语的 词法、句法或语义信息；语料库最简单的是生语料（raw text ），或者是参照某 种语言学理论对文本 中隐含的语言现象进行显性标注的语料（annotated text ）。 表 2.1 列出了部分国外有代表性的词汇知识库和语料库的基本情况。 表 2.1 中的语言知识库项 目有一些已经涵盖 中文，如 Penn Treebank 和 Chinese Gigaword 。国外建设知识库的理论和方法对国 内的相关研究提供了借 鉴。例如，山西大学参照 FrameNet ，以 语语料事实为依据构建了 Chinese FrameNet ，包括框架库、句子库和词汇库 3 个部分的 内容；北京大学基于 WordNet 7 框架，构建了 《中文概念词典》（CCD，Chinese Concept Dictionary ）。除此之外， 知网及 《同义词词林》等 语语言知识库，是国 内学者 自主研发的成果。北京 大学、清华大学、北京语言大学、北京邮电大学、中国科学院软件所、哈尔滨 工业大学及中国台湾“中央研究 院”等大学和研究机构在 语语言知识库的建 设方面都颇有成就 。其中，北京大学开发的综合型语言知识库是在以 语为核 1 心的多语言知识库建设中最全面、最重要的研究成果 。 表 2.1 部分国外有代表性的词汇知识库和语料库的基本情况 类 名称 开发单位 开发时间 内容 语种 型 美国普林斯顿大 本体知识库、同义词 WordNet 1985－ 英语 学 集合、语义关系描述 日本电子辞书研 1986－ 语义分类、语义关系 EDR 电子辞书 日语、英语 究所 1994 描述 MindNet 美国微软公司 1993 － 语义关系描述 英语 词 欧洲语言（德 Human Language 1996－ 本体知识库、同义词 汇 EuroWordNet 语、西班牙语