09问答系统.pptVIP

基于信息检索和信息抽取的问答技术 候选答案的排序是这类技术的核心，排序的依据通常是提问处理模块生成的查询关键词 由于不同类别的关键词对排序的贡献不同，算法把查询关键词分为几类: 普通关键词（O）：从提问中直接抽取的关键词； 扩展关键词（E）：从WordNet或者Web中扩展的关键词； 基本名词短语（B）； 引用词（Q）：通常是引号中的词； 其他关键词（T）。以下公式给出常用的关键词的加权方法。 式中的wo，we，wb，wq，wt分别是普通关键词、扩展关键词、基本名词短语、引用词和其他关键词的加权因子，他们体现各种关键词的重要程度。通常，wo we，wq wb wt。式中的O、E、B、Q、T是关键词本身的得分 基于模式匹配的问答技术 基于模式匹配的问答技术 如何自动获取某些类型提问（某人的出生日期、某人的原名、某物的别称等）的尽可能多的答案模式是基于模式匹配问答系统的关键技术 基于模式匹配的方法往往是先离线获得各类提问答案的模式，在运行阶段，系统首先判断当前提问属于哪一类，然后使用这类提问的所有模式来对抽取的候选答案进行验证 例如，询问“某人生日年月日”类提问的部分答案模式如下： 1.0 NAME（ANSWER -） 0.85 NAME was born on ANSWER, 0.6 NAME was born in ANSWER 0.59 NAME was born ANSWER 0.53 ANSWER NAME was born 0.50 – NAME（ANSWER 0.36 NAME（ANSWER- 基于自然语言处理的问答技术 基于自然语言处理的问答技术 虽然前两种方法简单、有效，在TREC2001、TREC2002中获得了良好的成绩。但是，人们普遍认为：要想改进或者说更大程度地提高问答系统的性能，必须引入自然语言处理的技术，前两种方法有它本身的缺陷性 现阶段，自然语言处理的技术还不成熟，对句子的深层句法、语义分析还不能达到实用的效果 因此，大多数系统都是基于对句子进行浅层分析，获得句子的浅层句法、语义表示，作为对前两种方法的补充和改进 被问答系统广泛使用的自然语言处理技术包括： 命名实体识别技术 短语或依存结构分析技术 Paraphrase技术 词汇链 逻辑形式转换等 三类TREC2003方法在TREC比赛中的成绩比较 IR + IE IR + Pattern Match IR + IE + NLP 代表系统 系统[19] 系统[28, 29] 系统[4, 31] 代表方法在各届TREC中的名次 2000 - - 1 2001 - 1 2 2002 3 2 1 2003 2 - 1 问答系统实例 AskMSR: Shallow approach In what year did Abraham Lincoln die? Ignore hard documents and find easy ones AskMSR: Details 1 2 3 4 5 Step 1: 重写queries 直觉: 用户的问题常常和包含答案的句子在句法上很相似 Where is the Louvre Museum located? The Louvre Museum is located in Paris Who created the character of Scrooge? Charles Dickens created the character of Scrooge. Query 重写 将问题分类7类 Who is/was/are/were…? When is/did/will/are/were …? Where is/are/were …? a. Category-specific transformation rules eg “For Where questions, move ‘is’ to all possible locations” “Where is the Louvre Museum located” ? “is the Louvre Museum located” ? “the is Louvre Museum located” ? “the Louvre is Museum located” ? “the Louvre Museum is located” ? “the Louvre Museum located is” b. Expected answer “Datatype” (eg, Date, Person, Location