[互联网]09_互联网垃圾网页识别.pdf

互联网垃圾网页识别 刘奕群 清华大学计算机系 智能技术与系统国家重点实验室 2012年7月11 日 数据质量评估的研究思路 质量= 访问概 用户浏览图 率 结构分析 有哪些信誉好的足球投注网站引擎用 质量= 用户需 户需求 数据质量评估： 求 其它网络应 定义“质量” 用用户需求 识别垃圾内 质量= 去除无 容网页 用内容 识别非法内 容网页 互联网垃圾网页现象  网页中出现的奇怪现象 十八大领导预测？ 提要 垃圾页面的定义 垃圾页面的分类 垃圾页面识别技术  垃圾页面识别的效果评价  基于网页内容的垃圾页面识别  基于链接关系分析的垃圾页面识别  基于用户行为特性的垃圾页面识别 什么是垃圾页面 垃圾页面的定义  Web spam are designed to get “an unjustifiably favorable relevance or importance score” from search engines. (Gyongyi et. al. 2005)  垃圾页面是那些通过不正当的手段获取有哪些信誉好的足球投注网站引擎中 不应有的较高排名的网页  Web Spam ≠ E-mail Spam 垃圾网页现象 垃圾页面规模  超过10%的网络页面为垃圾页面(Fetterly et al. 2004, Gyöngyi et al. 2004)  网络页面总数：152 billion (How Much Info 2003) 垃圾页面的总量约为百亿规模 有哪些信誉好的足球投注网站引擎能够索引多少页面？  Google: 8 billion@2004, Yahoo: 20 billion@2005 垃圾页面数量与有哪些信誉好的足球投注网站引擎的索引规模相当！ 是谁在制造垃圾页面  回顾：有哪些信誉好的足球投注网站引擎的盈利模式  间接：垄断用户对互联网信息的知情权  直接：广告收入（竞价排名） 提升有哪些信誉好的足球投注网站引擎结果中的排名 提升 制造 购买有哪些信誉好的足球投注网站 网页质量 垃圾页面 引擎广告 = = 是谁在制造垃圾页面 垃圾网页动机  希望提升有哪些信誉好的足球投注网站引擎排名  不乐意提升网页质量  不乐意支