Web新闻人物系统的设计与实现.ppt

Web新闻人物追踪系统的设计与实现 姓 名： 寿思聪 学 号： 院 系： 信息科学技术学院 专 业： 计算机科学与技术 指导教师： 闫宏飞 提纲 引言 动机 难点 相关研究 指代消解 实体关系抽取 具体工作 文本中关键词的提取 人物指代消解 时间指代消解 简历型网页/段落的判定 人物踪迹追踪系统的实现 总结 引言 引言-动机 广泛的需求 还没有有哪些信誉好的足球投注网站引擎正式提供关于人物的有哪些信誉好的足球投注网站服务 展示Webdigest小组长期工作成果的展示平台 作为天网的一部分 引言-难点 胡锦涛主席将于5月6日至10日对日本进行5天的国事访问。除东京外，他还将访问横滨和奈良，并从大阪启程回国 ?时间指代消解，人物指代消解 吴仪 中共中央政治局委员，国务院副总理。 女，汉族，1938年11月生，湖北武汉人，1962年4月加入中国共产党，1962年8月参加工作，北京石油学院石油炼制系炼油工程专业毕业，大学学历，高级工程师。 1956年至1962年西北工学院国防系、北京石油学院石油炼制系炼油工程专业学习。1962年至1965年兰州炼油厂车间技术员、政治部办公室干事。1965年至1967年石油工业部生产技术司生产处技术员。 ?简历型网页的判断 相关研究 相关研究-指代消解-人物指代消解 Borrow 的STUDENT系统：利用有限的启发式规则 Winograd的SHRDLU系统：基于语法位置 Wilks的Preference semantics系统：利用简单的语义知识的四级指代消解系统 Hobbs算法：基于句法分析，通过有哪些信誉好的足球投注网站句法树，寻找先行词 Ido Dagan和Alon Itai：利用共现模式从大规模语料库中自动获取约束 Mitkov：有限知识方法，应用一系列规则 Soon：利用机器学习，构造一个分类器判断是否是指代关系 相关研究-指代消解-时间指代消解 Inderjeet Mani, George ：一个时间消解的框架。 处理中文需要解决更多问题 借鉴：判断一些不需要消解的情况使用分类器解决，选择基准时间时的思想 相关研究-实体关系抽取 Brin 1998，Agichtein 2000：先确定关系类别，然后基于关系对与描述模式在自然语言文本中的出现规律，自动学习语义化关系模式来找到关系对。 Etzioni 2004：根据关系的种子实例对自动生成关系抓取模板，并且能给每个新发现关系对一个属于该类型的置信度。 Takaaki Hasegawa 2004：基于实体对在文本中的共现定义关系，并利用共现文本对关系进行聚类、标注。 Yutaka Matsuo 2006：以一组科技论文网站和论文作者的主页等半结构化数据为研究对象，以此来发现作者之间的关系 具体工作 具体工作-文本中关键词的提取 Jianguo Xiao 2007 ： 一个词W的重要程度由两部分因素组成，一个是其他词Ai（Ai!=W）的重要程度以及W和Ai的关系紧密程度，另外一个是W所在句子的重要程度以及W和这个句子的关系紧密程度。 同样，一句话S的重要程度也有两部分组成，一个是其他句子Bi（Bi!=S）的重要程度以及它和S的相似程度，另外一个是S所包含的词的重要程度以及他们同这句话的关系。 具体工作-文本中关键词的提取 词语与词语之间的关系?互信息（472978篇网页，1308327个词语 无序词对 ） 句子与句子之间的关系?cosin值 词语与句子之间的关系 一个迭代的过程计算每个句子和每个词语的关键程度 具体工作-人名指代消解-人名性别判定 人名性别判定 获得一个人名性别列表，总共包含5901个不同的姓名，通过统计每个名字对应的所有人的性别，简单地对这些名字的人的性别作出判断，得到了一个判断拥有名字N的人的性别的一个表。 问题：所获得的名字的数量远远不能涵盖新闻网页中出现的人名，以至于在指代消解的时候，无法确定人物的性别，使得消解出错。这一块有待在今后工作中的改进。 具体工作-人名指代消解-姓名缩写消解 3月22日凌晨，巴勒斯坦哈马斯 （伊斯兰抵抗运动）精神领袖艾哈迈德·亚辛的汽车遭以色列直升机导弹袭击，亚辛及其两名保镖身亡。 解决方法：简单的替换 具体工作-人名指代消解-流程 具体工作-人名指代消解-评测 随机选取了20篇网页，其中包含“他”和“她”共36 个，是共消解36个，正确消解29 个，精度是81% ，召回度是100%。 错误分析 3个，人名识别接识别问题，如果接口能够正确识别，精度应该是89% 2个，寻找先行人名错误 2个，先行词并没有以人物姓名的形式出现在网页中，而是以一些名