一种分布式网络爬虫的设计与实现-江西师范大学学报.PDFVIP

37 4 ( ) Vol． 37 No． 4 第 卷第 期 江西师范大学学报 自然科学版 20 13 7 Journal of Jiangxi Normal University (Natural Science) Jul． 20 13 年 月 文章编号:1000-5862 (20 13)04 -0382-05 一种分布式网络爬虫的设计与实现 * ， ， ， 杨 瑞 胡弘思 张文波 姚天昉 ( ， 200240) 上海交通大学计算机科学与工程系 上海 摘要: URL ， 利用用户指定的关键字和有哪些信誉好的足球投注网站引擎生成 种子 通过分布式网络爬虫抽取符合用户需求的网 ． : 页作为研究所用的语料 实验结果表明 分布式网络爬虫可以较好地解决在短时间内抽取大量语料的 需求． 关键词: ; ; 分布式系统 网络爬虫 设计 中图分类号:TP 391 文献标志码:A ， URL ， 先有哪些信誉好的足球投注网站时 过滤页面中无关的 从而提高广度 0 引言 优先算法的效率． 分布式网络爬虫实质上是多台机器上的不同网 ， Spider Crawler ， 网络爬虫 英文名称为 或 是一 ， 络爬虫的整合及合理调度 每个爬虫需要完成的任 种功能强大的自动提取网页的程序， 它为有哪些信誉好的足球投注网站引擎 ， ， 务和单个爬虫类似 通过分布式系统的调度 使得系 ， ． 从互联网上下载网页 是有哪些信誉好的足球投注网站引擎的重要组成部分 统作为一个整体有效均匀地完成爬取任务． 分布式 ， 此外 它可以完全不依赖用户干预实现网络上的自 爬虫的多台机器可能分布在同一个局域网， 也可能 “ ” “ ． 动 爬行 和 有哪些信誉好的足球投注网站 网络爬虫工作过程一般是从一 ． 分布在不同地理位置的不同局域网 按照分布式网