- 1、本文档共33页,其中可免费阅读10页,需付费180金币后方可阅读剩余内容。
- 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。
- 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
- 4、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
PAGE III
基于python的分布式网络爬虫设计
摘要
网络爬虫主要用来进行网上各种资源的收集。是一种按照预先设定的逻辑和规则,不断的对网页信息和数据进行爬取的程序或者脚本。随着技术方面不断的发展,网络爬虫也已经变得更加成熟,用途也更加广泛。有哪些信誉好的足球投注网站引擎就是爬虫的一种具体应用体现,人们通过任何一个有哪些信誉好的足球投注网站引擎能可以很快的获得他们所需要的数据和信息。
分布式爬虫中的一台计算机负责抓取连接,其他计算机负责下载存储,以达到高效爬取的目的。采用分布式爬虫可以提高数据爬取效率,从而降低成本,提高收益。不论对个人或者集体,分布式爬虫都是抓取信息的高效手段。
在数据爆炸的大环境下,对爬虫
文档评论(0)