TREC概况及TREC简介.pptVIP

TREC概况及TREC-10简介 中科院计算所软件室 王 斌 wangbin@ 2001.10.30 主要内容 一、TREC概况 二、TREC评测方法及标准 三、TREC-10 介绍以及我们的工作 第一部分 TREC概况 TREC的历史、发展与目标 TREC历史 TREC Text REtrieval Conference，文本检索会议 一开始仅仅面向文本，现在处理对象更广 组织者 NIST(National Institute of Standards and Technology)，政府部门 DARPA(Defense Advanced Research Projects Agency)，军方 会议情况 评测会议 1992~2001，10届 TREC目标 总目标：支持在信息检索领域的基础研究，提供对大规模文本检索方法的评估办法 1.鼓励对基于大测试集合的信息检索方法的研究 2.提供一个可以用来交流研究思想的论坛，增进工业界、学术界和政府部门之间的互相了解； 3.示范信息检索理论在解决实际问题方面的重大进步，提高信息检索技术从理论走向商业应用的速度 4.为工业界和学术界提高评估技术的可用性，并开发新的更为适用的评估技术。 历届TREC参加单位数及任务 历届TREC参加单位数示意图 参加过TREC的部分单位 TREC的运行 TREC由一个程序委员会(包括来自政府、工业界和学术界的代表)管理。 TREC以年度为周期运行。过程为： 确定任务(1~2): NIST选择某些任务，制定规范 参加者报名(2~3):参加者根据自己的兴趣选择任务 参加者运行任务(3~9):参加者用自己的系统运行测试问题，给出结果并将它们提交给NIST 结果评估(10): NIST使用固定的评测软件和工具对结果进行评估，并将结果返回给参加者 大会交流(11 马里兰州的Gaithersburg)：论文交流 测试数据和测试软件 由LDC(Linguistic Data Consortium)等多家单位免费提供，但少数数据有所修改，而且必须签订协议 每年使用的数据可以是新的，也可以是上一年度已经使用过的 TREC使用的评估软件是开放的，任何组织和个人都可以用它对自己的系统进行评测 第二部分 TREC评测方法及标准 相关名词、评测方法 名词定义 Track TREC的每个子任务，QA Filtering Web Topic 预先确定的问题，用来向检索系统提问 topic?query (自动或者手工) Question (QA) Document 包括训练集和测试集合 (TIPSTERTREC CDs) Relevance Judgments 相关性评估，人工或者自动 Topic的一般结构 Title：标题，通常由几个单词构成，非常简短 Description：描述，一句话，比Title详细，包含了Title的所有单词 Narrative：详述，更详细地描述了哪些文档是相关的 Topic示例 num Number: 351 title Falkland petroleum exploration desc Description: What information is available on petroleum exploration in the South Atlantic near the Falkland Islands? narr Narrative: Any document discussing petroleum exploration in the South Atlantic near the Falkland Islands is considered relevant. Documents discussing petroleum exploration in continental South America are not relevant. 使用Topic的方式 按照会议要求，可以利用Topic文本中的部分或者全部字段，构造适当的查询条件 可以使用任何方式构造查询条件，这包括手工的和自动的两大类。但提交查询结果时要注明产生方式。 评测方法 基于无序集合的评测：返回结果无顺序 Set Precision/Set Recall 基于有序集合的评测： P@n/Average Precision/Reciprocal Rank 其他评测方法 Filtering Utility 相关性评估过程(1) (Ad hoc任务)对于每一个topic，NIST从参加者取得的结果中挑选中一部分运行结果，从每个运行结果中取头100个文档，然后用这些文档构成一个文档池，使用人工方式对这些文档进行判断。相关性判断是二值的：相关或不相关。没