网络爬虫优质课件.pptx

Presentation 网络爬虫入门|以华师图书馆/豆瓣为例 (Python实现) East China Normal University 2022年5月24日 CONTENTS 目录 1 什么是爬虫 2 背景意义 3 三步走 4 模拟登陆 5 豆瓣抓取 6 小结 2022年5月24日 East China Normal University 网络爬虫 网络爬虫：是一个功能很强的自动提取网页的程序/脚本，它为有哪些信誉好的足球投注网站引擎从万维网上下载网页，是有哪些信誉好的足球投注网站引擎的重要组成部分。 防爬虫：爬虫行为分为有哪些信誉好的足球投注网站引擎爬虫及扫描程序爬虫，可屏蔽特定的有哪些信誉好的足球投注网站引擎爬虫节省带宽和性能，也可屏蔽扫描程序爬虫，避免网站被恶意抓取页面。（网站洁癖） 2022年5月24日 East China Normal University 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 　　我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。 我们再来看下知乎神贴~ 可以干哪些有趣的事情？ 1 2022年5月24日 East China Normal University 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 [ 第一步 ] 爬哪里（URL）：获取整个页面数据 [第二步 ] [第三步 ] 怎么爬（Method）:非常强大的正则表达式，以及许多开源库（urllib,BeautifulSoup） 我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。 一般我们三步走！ 三步走 2 2022年5月24日 East China Normal University 爬什么（interesting）：你对什么感兴趣 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 Review 2022年5月24日 East China Normal University 浏览器访问 服务器的过程 在用户访问网页时，不论是通过、IP，还是点击链接，浏览器向WEB服务器发出了一个Http Request），WEB服务器接收到浏览器的请求之后，响应客户端的请求，发回相应的响应信息（Http Response），浏览器解析引擎，排版引擎分析返回的内容，呈现给用户。交互的过程中，HTTP请求和响应时发送的都是一个消息结构。 实例：（华东师范大学图书馆） 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 代码分析：模拟登陆华东师范大学图书馆 爬虫结果：借阅历史.txt 模拟登陆华东师范大学图书馆\并爬取借阅历史 4 2022年5月24日 East China Normal University 当你要模拟登录一个网站时，首先要搞清楚网站的登录处理细节（发了什么样的数据，给谁发等...）。通过抓取http数据包来分析该网站的登录流程。同时，我们还要分析抓到的post包的数据结构和header，要根据提交的数据结构和heander来构造自己的post数据和header。并发送给指定url。我们通过urllib2等几个模块提供的API来实现request请求的发送和相应的接收。 大部分网站登录时需要携带cookie，所以我们还必须设置cookie处理器来保证cookie 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 抓取豆瓣上计算机类图书评分最高的top150本书籍，并保存在本地Excel中。 2022年5月24日 East China Normal University 课题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 小结 7 2022年5月24日 使用代理服务器 伪装成浏览器访问 反”反盗链” 多线程并发抓取 验证码的处理 代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火（黑网站），咳咳，之必备神器。 East China Normal University 压缩，超时设置 多代理自动选择 课题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 小结 7 2022年5月24日 使用代理服务器 伪装成浏览器访问 反”反盗链” 多线程并发抓取 验证码的处理 代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火（黑网站），咳咳，之必备神器。 East China Normal Univer