Python网络爬虫快速入门全套教学课件.pptx

Python网络爬虫快速入门;第1章 爬虫基础和开发环境配置;目录页;思考？ 有哪些信誉好的足球投注网站引擎是如何查找网站的? ;有哪些信誉好的足球投注网站引擎使用了网络爬虫不停地从互联网抓取网站数据，并将网站镜像保存在本地，这才能为大众提供信息检索的功能。;爬虫产生背景;爬虫产生背景;爬虫产生背景;爬虫产生背景;爬虫产生背景;爬虫产生背景;爬虫产生背景;爬虫产生背景;思考：什么是网络爬虫? ;什么是爬虫;什么是爬虫;什么是爬虫;爬虫的用途;爬虫的用途;通用爬虫和聚焦爬虫;累积式和增量式爬虫;表层爬虫和深层爬虫;通用爬虫工作原理;聚焦爬虫工作原理;爬虫抓取网页的详细流程; 反爬虫技术; 防爬虫的应对策略;防爬虫的应对策略;防爬虫的应对策略;防爬虫的应对策略;爬虫数据采集与挖掘的合规性;第2章 网页前端基础;目录页;浏览网页过程;浏览网页过程;当所有的文件都下载成功后，浏览器会根据HTML语法结构，将网页完整的显示出来。;统一资源定位符URL;统一资源定位符URL;计算机域名系统DNS;HTTP网络请求原理;客户端HTTP请求格式;GET / HTTP/1.1 Host: Connection: keep-alive Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Referer: / Accept-Encoding: gzip, deflate, sdch, br Accept-Language: zh-CN,zh;q=0.8,en;q=0.6 Cookie: BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1; BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B; PSTM=1470329258; MCITY=-343%3A340%3A; H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554; BD_UPN sug=3; sugstore=0; ORIGIN=0; bdime=0; H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g; BDSVRTM=0;不同的HTTP版本下使用的请求方法也不同。;最常用的请求方法是GET和POST，两者的区别在于：;Host（主机和端口号）;Upgrade-Insecure-Requests（升级为HTTPS请求）;Accept （传输文件类型）;Accept-Encoding（文件编解码格式）;Accept-Charset（字符编码）;Content-Type （POST数据类型）;服务端HTTP响应格式;HTTP/1.1 200 OK Server: Tengine Connection: keep-alive Date: Wed, 30 Nov 2016 07:58:21 GMT Cache-Control: no-cache Content-Type: text/html;charset=UTF-8 Keep-Alive: timeout=20 Vary: Accept-Encoding Pragma: no-cache X-NWS-LOG-UUID: bd27210a-24e5-4740-8f6c-25dbafa9c395 Content-Length: 180945 !DOCTYPE html PUBLIC -//W3C//DTD XHTML 1.0 Transitional//EN ....;响应状态代码由三位数字组成，其中第1位数字定义了响应的类别，有五种可能取值。;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;常用的响应报头和取值;HTML标签;HTML整体结构;CSS;与爬虫程序设计相关常用标签;（3）div div用来定义文档中的分区或节，把文档分割成为独立的部分，经常用于网页布局。该标签通常会使用id 或 class 属性设计额外的样式，其中，class 用于元素组，而 id 用于标识单独的唯一的元