《Python网络爬虫技术案例教程》PPT课件（共10单元）五单元反爬虫策略.pptxVIP

反爬虫策略;本章导读;学习目标;;编写爬虫程序的目的是自动获取网站的一些数据，而反爬虫则是利用技术手段防止爬虫程序爬取数据。;5.1 反爬虫策略;5.1 反爬虫策略;5.1 反爬虫策略;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;5.2 应对反爬虫的措施;1．实战目的 （1）练习使用设置请求头、使用代理IP和降低请求频率等措施应对反爬虫。 （2）??习使用beautifulsoup4库解析爬取的网页内容。 （3）练习将获取的数据保存至CSV文件中。 2．实战内容 爬取哔哩哔哩网站的内容，输入有哪些信誉好的足球投注网站关键字解析网页，获取所有视频信息，包括视频标题、视频时长、观看次数、上传时间、up主和视频链接，输出正在爬取的页码提示，并将爬取到的视频信息保存到以有哪些信誉好的足球投注网站关键字命名的CSV文件中。;3．实战分析 使用Google Chrome浏览器打开哔哩哔哩网站，有哪些信誉好的足球投注网站关键字（如Python），打开网页（网址/all?keyword=Python，也可写为/all? keyword=Pythonpage=1），可以看到每一页只显示20个视频信息（共50页），翻页查看每一页的网址（如/all?keyword=Pythonpage=6），发现网址中的数字随着页数的变化而变化（如第6页为“page=6”）。 防止爬虫程序在爬取网站过程中被反爬虫程序识别和禁止，可使用下面的措施。设置Headers参数的User-Agent信息，模拟浏览器信息；在爬虫程序中定义代理IP列表，每次发送HTTP请求时随机选取代理IP；每爬取一页内容，程序休眠随机时间。 【参考代码】详情见P142~P144 【运行结果】详情见P145;THANK YOU