信息管理和信息系统第9章.pdf

第九章信息检索评价与实验 本章目录 9.1 引言 9.2 信息检索相关性理论 9.3 信息检索评价指标体系 9.4 信息检索评价的过程与方法 9.5 经典的信息检索评价实验 9.6 信息检索评价实验平台：TREC 2 第一节 引言 信息检索系统评价的内容包括：资源的收录状况、数 据的质量、检索的功能与效率、系统的功能以及检索 结果的反馈形式等。 数据的评价主要从两个方面考察： 一是数据的录入质量，如数据的错误率，数据的结 构是否合理，数据的完整性如何，数据的著录是否 完备等； 二是数据的加工质量，如数据的加工深度，数据的 标引质量，数据的分类是否合理等。 3 第一节 引言 检索的功能与效率的评价主要考察检索入口能否满 足用户的需求，检索的组配是否丰富，查准率和查 全率是否得当，检索的响应速度如何等。 检索功能和效率与检索算法有密切的关系，由于检 索算法难以分辨出优劣，因此，可以通过检索界 面、查全率和查准率以及检索响应时间等来判断检 索的效率。 4 第一节 引言 近年来，信息检索评价研究已从系统的输入方面的 特性逐渐向检索者输入方面的特性转移，开始注重 研究检索专家的特性（如教育背景、经验、个性 等）与检索成功率之间的关系。有些评价者还考察 了采用不同检索键所引起的变化，例如，分别用题 名关键词、文摘关键词、叙词、原文中的词，或者 分别用主题词与引文对相同的课题进行检索时，检 索结果之间的差异。 5 第一节 引言 整体而言，信息检索评价活动范围扩大了，评价水 平在不断提高，积累了大量有价值的试验或调查数 据，初步揭示了检索系统及其各组成部分的运行机 制及对系统性能的影响。不过需要指出的是，就目 前状况而言，我们对用户需求相关性判断和系统行 为的本质方面的探索还显得不足，有些评价方法还 需要进一步完善，评价结果的解析和验证也有待进 一步深入和加强。 6 第二节 信息检索相关性理论 1 9.2.1 相关性概念及其特征 2 9.2.2 影响相关性判断的变量 3 9.2.3 面向系统的相关性 43 9.2.4 面向用户的相关性 7 9.2.1 相关性概念及其特征 （一）相关性的概念 相关性问题的出现：1958年，著名学者B.C.Vickery 在ICSI （the International Conference for Scientific Information ）上的两篇会议论文引发对“相关性”概 念的最初讨论，“相关性” 问题由此得到明确提出。 所谓“相关性判断”，是指信息检索中判断者在某一 时刻对某种相关性的一种赋值操作。这个定义中包 含了相关性判断的四个基本组成要素，分别是：相 关性类型、判断者类型、判断时间和判断结果表达 方式。 8 9.2.1 相关性概念及其特征 相关性类型，指基于何种相关性进行判断； 判断者类型，指实施判断的主体，通常分为用户 （user ）与非用户（non-user ）两大类，其中，用户 指检索系统的真实用户，非用户则包括检索系统设 计者、检索中介等在内的各类人员； 判断时间，很明显在不同的时间点，相关性判断的