中文信息处理的资源建设.ppt

中文信息处理的资源建设 苗 传 江 2006年8月25日 北京师范大学 提纲 1. 语言资源的重要性及其类型 2. 语言资源建设是系统工程 3. 关于语料库建设 4. 知识库建设的基本问题 5. 国内外知识库建设项目简介 6. HNC的知识库建设 7. 语言资源建设的其他若干问题 1. 语言资源的重要性及其类型 重要性 各项技术和应用都离不开语言资源 语言资源制约语言信息处理的发展 语言资源对语言信息处理的竞争有决定意义 语言资源的类型 对言语的记录 对语言的描述 系统是否可直接调用？ 基础型还是应用型？ 服务于理解还是生成？ 是否以语义描述为中心？ 2. 语言资源建设是系统工程 系统性 理论方法不同，资源可能不同。 资源建设应与系统实现密切配合。 例如词表建设（收“词”原则和词表的组织） 输入法软件的大“词”表 “类推词”：鸡蛋、鸭蛋、鹌鹑蛋、恐龙蛋…… “异构词”：松花蛋、茶叶蛋、荷包蛋；煎蛋、蒸蛋；鱼蛋、泥蛋、驴粪蛋；笨蛋、坏蛋、蠢蛋 “临时词”：宇迷、保先 专业词：越位、点球、边裁；铲射、吊射、扫射、垫射 工程性 目标明确可行 规模达至应用 注重实际效用 “鸡蛋”应收入词表，而“鸭蛋”未必。 3. 关于语料库建设 语料库有什么作用？ 应怎样加工语料库？ 何谓“大规模”？ 语料库怎么平衡？ 现代汉语与语料库建设的当务之急 服务于现代汉语语言知识库建设 文本属性标注 语体、文体、体裁、领域、语域 语料库工具的研发 查找例句 4. 知识库建设的基本问题 知识库：语言资源的子类 面向NLU 统计数据是知识库吗？ 系统可直接调用 百科全书是知识库吗？ NLU的基本目标是什么？ 语言模糊的消解 意义的表示和映射 NLU需要哪些知识？ 句法、语义、语用、常识、专业 …… ？ 周杰伦在大陆的演出活动 周杰伦将在大陆举办个人演唱会 周杰伦个人演唱会将在北京首都体育馆举行 巡回演出第一站，周杰伦在广州火爆亮相 周杰伦前往西安参加义演活动 北京举办扶贫义演，刘德华、周杰伦等港台明星出席 各类知识分别起什么作用？ 重要性的差别 主次之分：谁是统帅？ 各类知识之间的关系：分立还是协同？ 句法 = 语义 = 语用 ？ Colorless green ideas sleep furiously. (Chomsky) 所有的石头都死了。（邢公畹） 一树红桃个个青，满天下雨半天星， 三个和尚四面坐，不言不语唱真经。 知识怎样表示？ 针对电脑的需要 如何构建知识库系统？ 知识从哪里来？ 语言材料和语言能力 怎样有效地利用知识？ 5. 国内外知识库建设项目简介 Cyc / Cycorp, Inc., the leading supplier of formalized common sense, based in Austin, Texas, founded by Douglas Lenat in 1984 Cyc technology, the worlds largest and most complete general knowledge base and commonsense reasoning engine Cycorps goal, to break the software brittleness bottleneck once and for all by constructing a foundation of basic common sense knowledge What’s common sense? what we normally consider consensus knowledge about the world. For example, Cyc knows that trees are usually outdoors, that once people die they stop buying things, and that glasses of liquid should be carried rightside-up. -- Cyc sounds like psych. Cyc will enable a variety of knowledge-intensive products and services. For example, Cyc can find the match between a users query for pictures of strong, adventurous people and an image whose caption reads simply a man climbing a cliff. Cyc can notice if