分布式课程项目报告-北京大学网络与信息系统研究所.ppt

分布式课程项目报告 Ask Me 问答式系统 2004年12月21日 小组成员：何靖、银平、姚从磊、余晋、陈翀 纲要 QA Background “Ask Me”System Introduction Targets Overview Design Approaches Techniques Evaluation Task Allocation Outlook QA Background Introduction 继有哪些信誉好的足球投注网站引擎之后，互联网应用的又一新的浪潮 基于互联网的文档海量数据 挑战计算机智能(NLP、IR、IE、AI) 问题类型 简单型“联想集团的总裁是谁” 集合型“长江流经哪几个省” 描述型“沙尘暴的影响有哪些” 准确的问答检索方法依赖于对问题的理解 问题分类(领域、答案类型)、扩展、理解 Ask Me系统的目标定位 Open Domain Chinese Oriented Massive Web Douments Based Obey the Criterias of Modern IR Test Routine QA系统模型 Overview Design Approaches Sementic-based Rules Statistic-based Patterns Cache-based FAQ Pool Techniques What techniques support our system? 辞典(同义辞典、共现辞典) 问句相似度判断算法 后缀树 信息抽取 训练集 测试集 问句集 中文切词及实体判定(中科院计算所开源软件的改版) Evaluation 评估设计 问题类型(事实型、集合型、描述型) 问题匹配方法(Cash中找到答案、语义规则找到答案、统计方法找到答案) 60个测试问题，第1步FAQ相似度方法“截取”2个，50余个在第2步被“截取”，剩下的转入第3步找答案。 共答对26个。 答案选取方法（天网百度各有胜负） 只用天网的有哪些信誉好的足球投注网站结果构造答案 只用百度的有哪些信誉好的足球投注网站结果构造答案 Both 结果展示 Ask Me Outlook 我们处在哪里？ QA Related Works Ask the Web 哈工大 复旦 国外的QA系统 我们的后续改进之处 FAQ的进一步自动提纯 问题模式/答案模式的细化:细化分类,考虑词性,全面完整的训练集 Task Allocation 项目周期：10月28日-12月20日 （7周半） Sementic-based Rules Semantic rules 是谁 ? /nr 人名 多高 ? /m 高度 Pattern Extraction FAQ Semantic Based Rules Statistic based Patterns Questions Pre-process FAQ Module Question Semantic Based Rules Statistic based Patterns WEB Crawl purify Answers Rule match 句子相似度比较 (VSM 变形) Search engine (tianwang, baidu etc.) Sentence extraction Answer extraction FAQ Pool Rule Pool Pattern Pool Crawl Statistic training question pattern match answer Pattern match Thesaurus expanding search thesaurus Co-currency dictionary statistic log file 基础设施 上层建筑 语义规则求答方法 模式规则求答方法 FAQ文档集获取 cgi界面 同义辞典 切词软件移植改版 KNN问题分类 FAQ 问句相似度匹配 后缀树的答案规约方式 共现词典 测试问题集 何靖 银平 陈翀 余晋 姚从磊 何靖 姚从磊 银平 余晋 陈翀 谢谢！ 文化大革命开 始于哪一年？ 问题类型： 词性: /t 概念：年 文化大革命/nz 开始/v 于/p 哪一年/r ？/w /cgi-bin/allsearch? word=文化大革命+开始+于+cdtype=GB 当时 /t [13] 1966年 /t [13] 1966年5月 /t [8] 1966年 /t [13] 1966年5月 /t [8] 分词 筛选 替换 /t 年 Se