分布式爬虫设计实现分布式爬虫算法研究和系统框架设计.docx

分布式爬虫设计实现分布式爬虫算法研究和系统框架设计

摘要

分布式爬虫（Distributedcrawler），是一种高效，快捷的爬虫。是把多台主机组合起来，共同完成一个爬取任务，从而达到大幅度提高爬取效率的目的。目前在现今的大数据时代中，因其并发性高，高效的特点而被广泛运用在各行各业中。

本次爬虫的设计所使用的编程语言是Python语言，其基于Scrapy-Redis应用框架。这个框架运用到了Redis哨兵核心选举算法，通过Redis哨兵节点实现和主数据节点的连接，并且监控redismaster是否正常运行和slave进程是否异常。数据库则选择使用非关联数据库MangoDB,通过