中文网页信息检索测试集构建分析及应用.doc

学位论文 题 目：中文网页信息检索测试集的构建、分析及应用 姓 名： 学 号： 院 系：信息科学技术学院 专 业：计算机软件与理论 研究方向：计算机网络与分布式系统 导 师： 教授 二〇〇七年五月  版权声明 任何收存和保管本论文各种版本的单位和个人，未经本论文作者同意，不得将本论文转借他人，亦不得随意复制、抄录、拍照或以任何方式传播。否则，引起有碍作者著作权之问题，将可能承担法律责任。 摘 要 随着WWW的迅速发展，Web信息检索技术成为研究者广泛关注的话题，但缺少合适的测试评测机制制约了中文网页信息检索技术的发展。参考国外测试集的构建经验，我们构建了大规模中文网页信息检索测试集CWT，并组织了SEWM中文网页检索评测，希望在国内外各个研究小组的共同参与下建立并完善CWT，一起推动中文检索技术的发展。SEWM-2006和SEWM-2007的相关判断完整性分别约为80%66%，基于它的评测结果是可靠的，而对相关文档集一致性进行分析得到的结论是：相关判断的第二个步骤“检查”是必要的。 3．组织了SEWM中文网页检索评测，将CWT测试集应用于评测中。我们给国内信息检索研究者提供了一个标准规范的评测平台，对从2004年开始的历届评测情况进行了总结，详细介绍了评测流程、评测任务、检索结果提交格式等。评测相关的数据都放在评测网站/上包括历届的评测通知、评测指南、技术报告等链接提取等工具，帮助信息检索研究者更好的使用CWT。 Chinese Web Retrieval Test Collections: Construction, Analysis and Application Abstract With the rapid development of World Wide Web, Web information retrieval (IR) has been a hot research topic, but the research has been restricted by the lack of appropriate test collections. According to the framework of existing foreign test collections, we constructed large-scale Chinese Web Test collections (CWT), and organized SEWM Chinese Web search evaluation. This paper reports following work that we have done in IR evaluation: 1. CWT test collections are designed and constructed. A test collection consists of three parts: document set, topic set, and relevance judgements. The details in constructing each component are introduced. Three test collections CWT100g, CWT200g and CWT20g are created; the topic set contains 285 topics for topic distillation task and 1,185 topics for navigation task; the relevance judgements for each topic are constructed. The methodology used in engineering CWT should be readily applicable to the construction of future Web corpora. 2. The high quality of our test collections is demonstrated through analyzing each component of CWT. 1) The document sets share similar distribution with the real Web in site size and out-degree of web pages. 2) Most of the topics for topic distillation task are built up by four Chinese c