[互联网]03_有哪些信誉好的足球投注网站引擎性能评价.pdf

有哪些信誉好的足球投注网站引擎性能评价 刘奕群 清华大学计算机系 智能技术与系统国家重点实验室 2012年7月9 日 有哪些信誉好的足球投注网站引擎性能评价的现状 有哪些信誉好的足球投注网站引擎性能评价的现状 CNNIC 性能评价的作用 对有哪些信誉好的足球投注网站引擎用户而言：  挑选最有利于获取信息的手段 对有哪些信誉好的足球投注网站引擎工程师而言：  算法及数据处理方式有效性的判断 对有哪些信誉好的足球投注网站引擎广告商而言：  挑选最有效的广告投放手段  评价在信息检索系统的研发中一直处于 核心的地位，以致于算法与其效果评价 方式是合二为一的（Saracevic, SIGIR 1995） 性能评价的作用 失败是成功之母  从较差查询样例中学习 如何研究性能评价 服务提供商还是信息检索工具  有哪些信誉好的足球投注网站引擎作为网络服务供应商的属性 形式：用户问卷调查 举例：CNNIC 中国有哪些信誉好的足球投注网站引擎市场调查报告  有哪些信誉好的足球投注网站引擎作为网络信息检索工具的属性 形式：传统的信息检索评价方法在网络环境中的 应用。 信息检索系统的评价方式如何应用于有哪些信誉好的足球投注网站引擎？ 我们的研究重点 如何研究性能评价 效率还是效果  效率(Efficiency) 用户需求是否得到了很快的响应？ 为满足用户需求耗费了多大规模的硬件资源？ 指标举例：响应时间、索引量、开销 baidu sogou soso 1.2E+07 baidu sogou soso  效果(Effectiveness) 1.0E+07 8.0E+06 有哪些信誉好的足球投注网站结果列表是否合理？ 6.0E+06 是否满足了用户的信息需求？ 4.0E+06 我们的研究重点 2.0E+06 指标举例：查全率/查准率 0.0E+00 0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13 有哪些信誉好的足球投注网站引擎检索效果评价 如何进行检索效果评价？  “黑箱”评价方式 关注有哪些信誉好的足球投注网站引擎系统的输入、输出 不关注有哪些信誉好的足球投注网站引擎的具体实现方式  具体实现： Cranfield评价体系 给定标准输入，标准输出 用标准输入下系统输出与标准输出 的差异来衡量系统性能 Cranfield评价体系 体系建立  Cleverdon等人于上世纪五十年代末到六十年代初在 Cranfield University工作时提出  确立了评价在信息检索研究中的核心地位 体系组成  评测语料  查询样例  标准答案  评价指标 Cranfield评价体系 语料库 语料库 待评价 有哪些信誉好的足球投注网站引擎 查询样例 查询样例 标准答案 查询结果列表