python爬虫入门基本知识.docx

python爬虫入门基本知识基础知识HTTP协议我们浏览网页的浏览器和手机应用客户端与服务器通信几乎都是基于HTTP协议，而爬虫可以看作是一个另类的客户端，它把自己伪装成浏览器或者手机应用客户端，按照自己的逻辑贪婪的向服务器索取数据，如何向服务器索取数据，所以了解HTTP协议就显得很有必要了。HTTP协议中文名称是超文本传输协议，是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式。请求和响应模式很好理解，客户端发送请求，服务器响应客户端的请求，就像学校食堂打菜一样，你和打菜阿姨说要哪份菜，她才会给你盛哪份菜。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。形象点说，可以把服务器看成是没有记忆的大学食堂打饭打菜，在每次请求中，阿姨并不知道你之前有没有打过菜，也不知道你是不是合法的学生，所以你只能一边举着学生证一边和阿姨说我要这个菜，阿姨看到你的学生证后才会给你打菜，而这个学生证就是你每次需要重传的数据信息。当我们在浏览器地址栏中输入 并敲入回车后，浏览器会构造HTTP请求发送到服务器，在收到服务器的HTTP响应后，浏览器会解析页面，继续向服务器请求图片、视频、js脚本等数据，直到页面加载完成，最终展示给我们的就是B站主页了。这是我用Fiddler抓的包，展示的是HTTP最原生的面貌，接下来我就根据这张图具体的讲解HTTP协议，以及写爬虫需要关注的一些点。HTTP请求由三部分组成，分别是: 请求行、消息报头、请求正文。在接收和解释请求消息后，服务器返回一个HTTP响应消息，HTTP响应也是由三个部分组成，分别是：状态行、消息报头、响应正文。HTTP方法HTTP请求的请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本。请求方法都是大写，有很多种，常见的有GET POST DELETE PUT，各种方法之间的区别不大。这里罗列了一些常用的方法，一般来讲，GET表示向服务器请求URI对应的资源，POST表示向服务器提交数据，DELETE表示删除数据，PUT表示修改数据。但这都是一种约定，没有强制的要求，如果你碰见用DELETE方法提交数据也没必要大惊小怪。在实际写爬虫的过程中，我们只需要按照抓包请求构造数据即可，没有必要在意用了什么方法。报头字段重点讲解几个写爬虫需要关注的字段User-Agent 出现在请求报头中，表示客户端的操作系统、浏览器型号版本等信息。服务器可以根据此报头向客户端返回不同的页面以适应客户端。有些网站(知乎)会校验此报头，不填写或者不主流的报头都不能拿到正常的页面。因此自己在写爬虫的时候最好将从浏览器中拷贝到代码中。Cookie 出现在请求抱头中，前面我们说过HTTP是基于请求与响应模式并且无状态的协议，之前举了打菜阿姨的例子，Cookie就相当于每次请求中的学生证，它可以记录用户的身份信息。当我们自己写爬虫的时候，如果需要登陆，并且登陆又有验证码或者短信验证时，最简单的方法就是从浏览器中把cookie拷贝到爬虫中，就可以骗过服务器了。Set-Cookie 出现在响应抱头中，让客户端更新页面关联的Cookie，还是拿食堂阿姨的例子，如果你的响应报头有这个字段，意思就是阿姨重新给你了一个学生证，下次打饭你得用必威体育精装版的学生证，原来的学生证不好使。如果你在模拟浏览器或者客户端登陆，需要将此报头更新已有的Cookie，不过Scrapy和requests都可以自动更新，因此不需要你再手动设置。Content-Type 标明请求正文或者响应正文的格式，客户端或者服务器会根据此字段选择合适的方式解析正文内容，以下是一些常见的值Content-Length 标明请求正文或者响应正文的长度，在使用requests构造请求的时候，我们不需要显式的加上此字段，requests会根据请求正文自动计算添加。Content-Encoding 在某些情况下，正文会讲过压缩后传输，此字段会指明压缩的类型(gzip和压缩参数)Transfer-Encoding 如果正文内容过长，HTTP协议允许将此字段设置为chunked，然后分块传输响应正文Connection 在HTTP1.1之前的版本，不支持持久连接，所谓的持久链接意思就是：HTTP协议一般通过TCP协议实现，客户端和服务器经过TCP三次握手建立连接，在请求和响应结束之后，此连接继续保持，当之后还有请求的时候，就不需要重新通过三次握手再建立连接，这样可以极大的降低客户端和服务器的IO负载。在自己写爬虫的时候，我们可以根据浏览器的抓包数据有选择的添加一些请求报头，其实大部分情况下都可以直接使用浏览器中的请求头，为了避免