《Python网络爬虫技术案例教程》PPT课件（共10单元）九单元分布式爬虫.pptxVIP

分布式爬虫;本章导读;学习目标;;分布式爬虫是一个整体的框架，它通过多台计算机同时运行爬虫程序协同爬取数据，而协同爬取数据的前提是共享爬取队列，其架构如图9-1所示。; Python分布式爬虫通常使用Scrapy框架加上Redis数据库实现，通过scrapy-redis模块实现统一任务调度，Redis数据库则存储共享爬取队列。 本章以第8章中使用Scrapy框架编写的BaiduSpider项目为例，介绍在两台Windows计算机中实现Scrapy-Redis分布式爬虫的方法。 ;Redis是一个开源（BSD许可）的，支持网络，可基于内存亦可持久化的日志型Key-Value数据库。它支持多种类型的数据结构，如列表（lists）、集合（sets）和有序集合（sorted sets）等，处理速度快。;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;显示“Port Number and Firewall Exception”界面，直接使用默认端口号（6379），勾选“Add an exception to the Windows Firewall”复选框，以选择防火墙例外，从而保证外部设备可以正常访问Redis服务，单击“Next”按钮，如图9-7所示。;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;输入“set mykey hello”命令，按回车键，如果返回显示“OK”，表示成功保存一个键值；输入“get mykey”命令，按回车键，可读取键值（此处显示“hello”），如图9-11所示。;Python提供redis-py库用于连接Redis数据库。redis-py库不是Python内置的标准库，使用之前需要安装，安装方法与requests库的安装类似（请参考2.3.2节），此处不再赘述。;当使用scrapy_redis实现分布式爬虫时，需要将spider脚本中的类继承修改为scrapy_redis.spiders.RedisSpider，同时设置初始URL列表在Redis数据库中的键值为“BaiduSpider:start_urls”，故按如下修改news.py文件。;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.2 Scrapy-Redis分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;9.3 使用Scrapyd部署分布式爬虫;THANK YOU