基于非内容信息的网络关键资源有效定位-THUIR.PDFVIP

第 2 卷第 1 期 　　　 　　　　 　　　　　　　智 　能 　系 　统 　学 　报 　　　　 　　　　 　 　 　　Vol . 2 №. 1 2007 年 2 月 　　　　　　　 　 　　 　　　　　　　　　　　Feb . 2007 CAA I Tran saction s on Int elligent Sy st em s 基于非内容信息的网络关键资源有效定位 刘奕群 ,张 　敏 ,马少平 (清华大学 智能技术与系统国家重点实验室 ,北京 100084) 摘 　要 :网络信息的爆炸式增长 ,使得当前任何有哪些信誉好的足球投注网站引擎都只可能索引到 Web 上一小部分数据 ,而其中又充斥着大 量的低质量信息. 如何在用户查询无关的条件下找到 Web 上高质量的关键资源 ,是 Web 信息检索面临的挑战. 基于 大规模网页统计的方法发现 ,多种网页非内容特征可以用于关键资源页面的定位 ,利用决策树学习方法对这些特征 ( ) 进行综合 ,即可以实现用户查询无关的关键资源页面定位. 在文本信息检索会议 TR EC 标准评测平台上进行的超 过 19 G 文本数据规模的实验表明 ,这种定位方法能够利用 20 %左右的页面覆盖超过 70 %的 Web 关键信息 ;在仅为 全部页面 24 %的关键资源集合上的检索结果 , 比在整个页面集合上的检索有超过 60 %的性能提高. 这说明使用较少 的索引量获取较高的检索性能是完全可能的. 关键词 :网络信息检索 ;关键资源页面 ;主题过滤 ;机器学习 中图分类号 : TP 181 , TP39 1. 3 　文献标识码 :A 　文章编号 :(2007) 0 1004508 Web key resource page selection based on noncontent inf ormation L IU Yiqun ,Z HAN G Min ,MA Shaoping ( St at e Key L ab of Int elligent Technology and Sy st em s , Tsinghua U niver sit y , Beij ing 100084 , China) Abstract :Infor mation growt h make s it impo ssible for search engine s to crawl and index all p age s on t he Web . Meanw hile in dexed p age set i s filled wit h low qualit y infor mation and sp am . It i s quit e a challenge to select high qualit y Web p age s (key re source p age s) queryindep endent ly . Wit h analy si s in no ncont ent f ea t ure s of key re so urce s , a p reselection met ho d wa s int ro duced in top ic di stillatio n re search . A deci sion t ree wa s con st r uct ed to locat e key re source p age s u sin g queryindep endent noncont ent f eat ure s including inde gr