信息检索系统的评价.pptVIP

******第三章信息检索系统的评价评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等;01竞技体育：世界记录vs.世界最好成绩02110米栏世界记录：梅里特，美国，12’’8003男子马拉松世界最好成绩：保罗·特尔加特，肯尼亚，2小时4分55秒04评价信息检索评价则是指对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动;从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量;壹贰为什么要对IR进行评价？0504020301针对一个检索系统，可以从功能和性能两个方面对其进行分析评价功能评价可通过测试系统来判定是否支持某项功能，因此相对来说较容易性能评价对于检索系统的性能来说，除了系统的时间和空间因素之外，要求检索结果能够按照相关度进行排序IR的评价指标性能评价指标在评价和比较检索系统的检索性能需要以下条件：一个文档集合C；系统将从该集合中按照查询要求检出相关文档。一组用户查询要求{q1,q2,…,qn}；每个查询要求qi描述了用户的信息需求。对应每个用户查询要求的标准相关文档集{R1,R2,…,Rn}；该集合可由人工方式构造。一组评价指标；这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值。评价任务示例系统查询1234…系统1，查询1d3d6d8d10系统1，查询2d1d4d7d11系统2，查询1d6d7d3d9系统2，查询2d1d2d4d13整个文档集合的划分Ra未检索出的不相关文档检索出的不相关文档检索出的相关文档未检索出的相关文档检索出(Retrieved)未检索出(NotRetrieved)不相关(NotRelevant)相关(Relevant)整个文档集合C四种关系的表示检出且相关未检出且相关检出且不相关未检出且不相关检出未检出相关不相关相关文本检出相关文档相关文档检出文档检出不相关文档未检出相关文档召回率(Recall):系统检出的相关文档数与实际相关文档数目的比值，也称为查全率。正确率(Precision):检出的相关文档数与检出文档数的比值，也称为查准率；准确率和召回率假设用户查询q为一个给定的查询式，而包含q的相关文档集合Rq为下面的文档集合：Rq={d2,d5,d9,d12,d23}而针对q的检出相关文档集合为：Aq={d3,d4,d5,d6,d8,d10,d12,d19,d20,d23}求检索的准确率和召回率。示例准确率和召回率的关系101准确率召回率返回最相关的文本但是漏掉了很多相关文本理想情况返回了大多数相关文档但是包含很多垃圾假设用户查询q为一个给定的查询式，而包含q的相关文档集合Rq为下面的文档集合：Rq={d2,d5,d9,d12,d23}检索系统对查询q返回的前10个文档Aq的排序为：1.d232.d33.d44.d55.d66.d87.d108.d129.d1910.d20123准确率/召回率曲线准确率/召回率曲线准确率0.20.40.60.81召回率召回率84准确率162计算召回率分别为0、10%、20%…,100%下的准确率11点标准召回率上述准确率召回率的值对应一个查询每个查询对应不同的准确/召回率曲线为了评价某一算法对于所有测试查询的检索性能，对每个召回率水平下的准确率进行平均化处理，公式如下：Nq：是使用的查询总数Pi(r)：是召回率为r时的第i个查询的准确率平均准确率已检出相关文档的平均准确率均值（MAP）逐个考察检出新的相关文献，将准确率平均r为相关文档数。第i个相关文档的位置单值评价方法计算MAP举例假设有两个查询，查询1有4个相关文档，查询2有5个相关文档。某系统对于查询1检索出4个相关文档，其排序分别为1,2,4,7；对于查询2检索出3个相关文档，其排序分别为1,3,5。计算ＭＡＰ的值。P@10P@10是系统对于查询返回的前10个结果的准确率。例：检索系统对查询q返回的前10个文档Aq的排序为：1.d232.d33.d44.d55.d66.d87.d108.d129.d1910.d20P@10=30%（共有10篇检出文档，其中3篇为相关文档）单值评价方法单值评价方法R准确率（R-P