Python网络爬虫技术 第6章 终端协议分析.pptxVIP

第6章 终端协议分析;;本节使用的是HTTP Analyzer V7.6。HTTP Analyzer工具的主界面如下图所示。单击图左上方“Start”按钮，即可开始记录当前处于会话状态的所有应用程序的HTTP流量。如果当前没有正在进行网络会话的应用程序，可以在单击“start”按钮后，使用浏览器打开任意一个网页，即可看到相应的HTTP的流量信息。;如果当前有应用程序正在进行网络会话，即可看到中间网格部分会显示一条或者多条详细的HTTP流量信息，如下图所示，单击任意的HTTP连接，即可查看该连接所对应的详细信息，捕获到的HTTP连接信息显示在中间的网格中，每个窗口的具体信息如下。 ;窗口1显示所有的HTTP连接的流量信息，并可以根据进程和时间进行归类排序。 窗口2以选项卡的形式显示出选中的HTTP连接的详细信息。其中包括HTTP头部信息、响应内容、表单数据、请求计时、查询字符串、Cookies、原始数据流、提示信息、注释、响应状态码的解释信息。 窗口3显示当前连接的所属进程的相关信息。 单击“Start”按钮下面的“Process”下拉框，可以根据进程来过滤数据，左边选择进程，右边显示的是内容，可以清楚地看到一个进程对应内容，如右图所示。 ;以text/html为过滤条件，单击“Type”下拉框，选择“text/html”，窗口1显示的是内容，可以通过数据类型进行过滤来得到结果，如下图所示。 ;打开千千音乐PC客户端，如下图所示。 ;启动HTTP Analyzer，选择仅显示千千音乐PC客户端信息的进程，并以text/html为过滤数据类型，在千千音乐客户端中的有哪些信誉好的足球投注网站框有哪些信誉好的足球投注网站某歌手，可以看到下图所示的抓包效果。 ;针对上述所示的抓包效果，主要关注有哪些信誉好的足球投注网站请求的类型头和响应。可以发现，有哪些信誉好的足球投注网站使用的是GET请求。选择之前有哪些信誉好的足球投注网站的某歌手的请求链接，它是一个API接口。此时，响应的内容如下图所示。 ;;打开Fiddle工具的打开工具的设置，单击“Tools”并选择“Options”，如下图所示。 ;选中“Decrypt HTTPS traffic”，Fiddler即可截获HTTPS请求，如下图所示。 ;切换至“Connections”选项卡，选中“Allow remote computers to connect”，表示允许远程设备将HTTP/HTTPS请求发送到Fiddler，如下图所示。此处默认的端口号是8888，可以根据需求更改，但是需注意不能与已使用的端口冲突。 重启Fiddler，即可完成配置。 ;在命令提示符中通过“ipconfig”命令查看电脑IP地址，找到无线局域网适配器WLAN的IPv4地址并记录，如下图所示。 ;成功获取计算机IP地址和端口号后，在Android系统手机的WiFi设置上，找到手机连接路由器的WiFi，然后修改网络，即可对手机进行代理设置。将代理设置为手动，填入获取到的IP地址和端口号，单击“保存”按钮，如右图所示。 ;在Android系统手机的浏览器打开无线局域网IPv4网址的8888端口，本节设置的安装证书网页为“2:8888”。单击“FiddlerRoot certificate”证书的安装证书，如下图所示。 ;设置完成Fiddler工具和Android系统的手机后，用手机浏览器测试百度首页抓包。手机浏览器登录百度页面，观察Fiddler工具左侧栏的“Host”是否含义百度信息，若有百度信息，则说明手机成功连接上Fiddler工具，如下图所示。 ;打开人民日报手机APP，如下图所示。 ;在Fiddler工具的左侧栏找到人民日报APP的信息，每个Fiddler工具抓取到的数据包都会在该列表中展示，单击具体的一条数据包后，可以在右侧菜单上单击“Insepector”按钮查看数据包的详细内容。Fiddler工具的右侧栏主要分为请求信息（即客户端发出的数据）和响应信息（服务器返回的数据）两部分。在请求信息上，单击“Raw”按钮（显示Headers和Body数据），在响应信息单击“JSON”（若请求或响应数据是json格式，以json形式显示请求或响应内容），如下图所示。 ;在Fiddler中得到GET请求的URL地址后，Chrome浏览器需要下载JSON-handle插件，才能看到返回的JSON格式的信息，如下图所示。 ;最终爬取到的人民日报首页图片如下图所示。 ;;本章介绍了如何抓取终端协议的数据，分别使用HTTP Analyzer工具和Fiddler工具抓取客户端和APP端的数据。本章主要内容如下。 在千千音乐客户端上，介绍了HTTP Analyzer工具的抓包过程。 在人民日报APP上，介绍了Fiddler工具抓取包过程以及爬取人民日报APP图片。 ;