基于用户群体行为分析的有哪些信誉好的足球投注网站引擎 - 计算机网络和分布式系统实验室.ppt

基于用户群体行为分析的有哪些信誉好的足球投注网站引擎自动性能评价 清华大学智能技术与系统国家重点实验室 马少平 2008年4月12日，南昌 提纲 研究背景 信息检索系统的评价方法 基于用户行为分析的有哪些信誉好的足球投注网站引擎性能评价 演示系统：有哪些信誉好的足球投注网站仪 结论与未来工作 研究背景 Web的发展带来了什么？ 信息量的急剧增长 1994年，面向个人用户的浏览服务诞生 2002年，Web上所存储的数据超过500,000 TB 知识的获取空前简单与繁荣 “在信息化时代，知识实际上已经不是资源，智慧才是资源。” 从Web中有效的获取知识成为人们的必需技能 高科技企业员工1/3的时间用于查找资料 研究背景 网络信息检索工具成为人们生活和工作中的重要信息获取手段 全球范围内84%的互联网用户使用有哪些信誉好的足球投注网站引擎，其中超过一半的人几乎每天使用。 2007年1月，我国网民总人数为13700万人。 95%以上的中国网民使用过有哪些信誉好的足球投注网站引擎，84.5%的用户将有哪些信誉好的足球投注网站引擎作为得知新网站的主要途径。 商用有哪些信誉好的足球投注网站引擎竞争日趋激烈。 研究背景 性能评价对有哪些信誉好的足球投注网站引擎的重要作用 对有哪些信誉好的足球投注网站引擎用户而言： 挑选最有利于获取信息的手段 对有哪些信誉好的足球投注网站引擎工程师而言： 算法及数据处理方式有效性的判断 对有哪些信誉好的足球投注网站引擎广告商而言： 挑选最有效的广告投放手段 研究背景 有哪些信誉好的足球投注网站引擎评价的考察方式 有哪些信誉好的足球投注网站引擎作为网络服务供应商的属性 形式：用户问卷调查 举例：CNNIC中国有哪些信誉好的足球投注网站引擎市场调查报告 有哪些信誉好的足球投注网站引擎作为网络信息检索工具的属性 形式：传统的信息检索评价方法在网络环境中的应用。 举例：TREC VLC/Web/Terabyte track，SEWM评测等 提纲 研究背景 信息检索系统的评价方法 基于用户行为分析的有哪些信誉好的足球投注网站引擎性能评价 演示系统：有哪些信誉好的足球投注网站仪 结论与未来工作 信息检索系统的评价方法 评价在信息检索研究中发挥着重要的作用 评价在信息检索系统的研发中一直处于核心的地位，以致于算法与其效果评价方式是合二为一的（Saracevic, SIGIR 1995） 信息检索系统评价的起源 Kent等人第一次提出了关于Precision和Recall（开始称为relevance）的概念（Kent, 1955） 信息检索系统的评价方法 信息检索系统评价的起源（续） Cranfield-like evaluation methodology Cranfield在上世纪伍十年代末到六十年代初提出了基于查询样例集、标准答案集和语料库的评测方案，被称为IR评价的“grand-daddy” 确立了评价在信息检索研究中的核心地位 Gerard Salton 与 SMART 系统 Sparck-Jones 的著作 “Information retrieval experiment” 在线：/iaui/894.02/projects/irlib/ 信息检索系统的评价方法 网络信息检索系统效果评价的现状 数据对象繁杂，标注困难 Voorhees 估计，对一个规模为800万的文档集合进行针对1个查询主题的相关性评判需要耗费1名标注人员9个月的工作时间 TREC提出pooling方法，在保证评价结果可靠性的基础上大大减少了评判工作量 缺点：处理的查询数目少，针对小规模的查询集合，仍需要耗费十余名标注人员1-2个月的工作时间 提高有哪些信誉好的足球投注网站引擎评价方法的自动化程度势在必行 信息检索系统的评价方法 如何提高有哪些信誉好的足球投注网站引擎评价的自动化程度？ 信息检索系统的评价方法 核心问题: 如何提高答案标注的自动化程度 利用伪相关反馈的方法进行结果自动标注 伪相关反馈的结果被认为是答案 Soboroff et.al, 2001; Nuray et.al, 2003; Beitzel et.al., 2003 标注的准确程度和可靠性不高 对查询词的近义词集合进行标注 根据结果网页的查询词及近义词词频进行评判 Amitay et.al, 2004 初始标注工作量大，评判的可靠性不高 信息检索系统的评价方法 核心问题: 如何提高答案标注的自动化程度 利用用户行为分析方法 Joachims et.al.(1997) 创建了一个元有哪些信誉好的足球投注网站接口，将不同有哪些信誉好的足球投注网站引擎的结果加以混杂，把用户点击不同结果的情况加以记录，并以此作为评判依据 用户行为分析的思路值得肯定 缺点：改变用户检索习惯、个体用户行为不可靠等 我们的研究思路 通过对有哪些信誉好的足球投注网站引擎记录下的用户行为日志进行分析，不额外增加用户负担。 使用用户群体，而不是个体的点击行为作为依据 提纲 研究背景 信息检索系统的评价方法 基于用户行为分析的有哪些信誉好的足球投注网站引擎性能评价 演示系统：有哪些信誉好的足球投注网站仪 结论与未来工作 基于用户行为分析的性能评价 总体思路 基于Cranfield方式进行评价 丰富的研究经验：评价指标、查询样例选取策略等 便于与传统的手工标注评价方式进行比较 基于用户关注程度进行查询样例选取 基于用户行为信