《数据采集技术》课件——使用 requests 库爬取网页.pptxVIP

使用requests库爬取网页

Contents素养目标能够初步建立起大数据领域的知识体系，完成一些初级技术实践。技能目标可以使用requests库爬取网页。知识目标熟悉requests库的定义及包含的类。

urllib库的局限性仅仅实现一个小功能就要用到很多代码。urllib库的函数使用方式并不简洁

什么是requests库requests是Python的一个第三方HTTP库requests在urlli的基础上进行了高度的封装。让Python实现访问网页并获取源代码特点比Python自带的网络库urllib更加简单、方便和人性化。继承urllib的所有特性还支持其他特性使用cookie保持会话自动确定响应内容的编码

什么是requests库requests是Python的一个第三方HTTP库requests在urllib的基础上进行了高度的封装。特点比Python自带的网络库urllib更加简单、方便和人性化。继承urllib的所有特性还支持其他特性Requests不是Python标准款，需要安装，可以在命令行中使用pip进行安装。安装命令如下：pipinstallrequests

什么是requests库表示请求对象，用于将一个请求发送到服务器。requests.Request表示响应对象，其中包含服务器对HTTP请求的响应。request.Response表示请求会话，提供Cookie持久性、连接池和配置。request.SessionRequest类的对象表示一个请求，生命周期只针对一个客户端请求。requests库中提供了如下常用的类：一旦请求发送完毕将释放掉该请求包含的内容

什么是requests库表示请求对象，用于将一个请求发送到服务器。requests.Request表示响应对象，其中包含服务器对HTTP请求的响应。request.Response表示请求会话，提供Cookie持久性、连接池和配置。request.SessionSession类的对象可以横跨多个页面，当关闭这个客户端的浏览器时：requests库中提供了如下常用的类：在预先设置的会话周期内一般是20-30min会话所包含的内容会一直存在比如，用户登录某个网站时，可以在多个IE窗口发出多个请求。

什么是requests库使用Requests库发送网络请求的第一步是导入Requests模块，命令如下：在浏览器里面可以直接通过输入网址访问的页面，就是使用了GET方式。使用GET方法获取网页源码语法结构为：Requests库请求方法importrequestshtml=requests.get(网址)

什么是requests库Requests库请求方法假如要获取百度首页源码，示例代码如下：response=requests.get(/)使用的请求方法可以发现使用GET方法获取到百度官网，并把数据赋值给response对象。

importurllib.requestimporturllib.parseurl=/sword={wd:数据采集}word=urllib.parse.urlencode(word)new_url=url+?+wordheaders={User-Agent:Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1}request=urllib.request.Request(new_url,headers=headers)response=urllib.request.urlopen(request)html=response.read().decode(utf-8)print(html)requests库初体验urllib库发送get请求

requests库初体验requests发送get请求#导入requests库importrequests#请求的URL路径和查询参数url=/sparam={wd:数据采集}#请求报头headers={User-Agent:Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/51.0.2704.103Safari/537.36}#发送GET请求，返回一个响应对象response=requests.get(url,params=param,headers=headers)#查看响应的内容print(response.text)使用requests库减少了发送请求的代码量比