《Python网络爬虫技术案例教程》PPT课件(共10单元)七单元爬取APP和PC客户端数据.pptxVIP

《Python网络爬虫技术案例教程》PPT课件(共10单元)七单元爬取APP和PC客户端数据.pptx

  1. 1、本文档共34页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
爬取App和PC客户端数据;本章导读;学习目标;;Fiddler是常用的App抓包工具。它是位于客户端和服务器端的HTTP代理,能够记录客户端和服务器端之间的所有HTTP请求,可以针对特定的HTTP请求分析请求数据、设置断点、调试Web应用、修改请求数据,甚至可以修改服务器端返回的数据,功能非常强大。 本节主要介绍在Windows中使用Fiddler对Android手机App的HTTP请求进行抓包分析,并爬取数据的方法。; 访问/detail/10/detail_3330.html,在打开的下载页面中单击“普通下载”按钮下载安装文件,如图7-1所示。; 单击“开始”按钮,选择“Fiddler 4”选项,如图7-2所示。;打开“Progress Telerik Fiddler Web Debugger”窗口,在菜单栏中选择“Tools”→“Options”选项,如图7-4所示。;打开“Options”对话框,切换到“HTTPS”选项卡中,勾选“Decrypt HTTPS traffic”复选框(表示可记录HTTPS请求),在展开的列表中勾选“Ignore server certificate errors”复选框,如图7-5所示。; 切换到“Connections”选项卡中,勾选“Allow remote computers to connect”复选框(表示允许别的远程设备发送HTTP/HTTPS请求到Fiddler),单击“OK”按钮,如图7-6所示。;确保Android手机和计算机在同一局域网内(如连接同一无线网络)。确保Fiddler完成设置,并正在运行。;在手机端选择“设置”→“无线和网络”→“WLAN”选项,长按已经连接的网络(如4B16),在弹出的列表中选择“修改网络”选项,如图7-8所示。; 打开设置代理界面,设置“服务器主机名”为“11”(图7-7中的无线局域网适配器WLAN的IPv4地址),设置“服务器端口”为“8888”(图7-6中的“Fiddler listens on port”的端口号),点击“保存”按钮,如图7-10所示。; 在Android手机自带的浏览器中访问“11:8888”,然后点击“FiddlerRoot certificate”链接下载证书,如图7-11所示。; 进入手机的“下载管理”界面,点击下载好的“FiddlerRoot.cer”文件,输入锁屏密码,设置“证书名称”为“FiddlerRoot certificate”,点击“确定”按钮,安装证书,如图7-12所示。;Fiddler抓取App数据包并分析数据的过程如下:;Fiddler抓取App数据包并分析数据的过程如下:;Fiddler抓取App数据包并分析数据的过程如下:;爬??App数据的思路如下:;爬取一点资讯App科技板块,输出首页的文章标题、概要和链接。;【问题分析】;详情见P179~P180;7.2 爬取PC客户端数据;访问/detail/13/detail_10593.html,在打开的下载页面中单击“普通下载”按钮,下载安装文件,如图7-17所示。;参照7.1.2节设置Fiddler。另外,在“Options”窗口,切换到“HTTPS”选项卡中,勾选“Check for certificate revocation”复选框,单击“OK”按钮,如图7-18所示。;启动Proxifier,在菜单栏中选择“配置文件”→“代理服务器”选项,如图7-19所示。; 在打开的对话框中设置地址为“”,设置端口为“8888”(与Fiddler设置的端口一致),勾选“HTTPS”单选钮,单击“确定”按钮(见图7-21)。返回“代理服务器”对话框,单击“确定”按钮。;在菜单栏中选择“配置文件”→“代理规则”选项,如图7-22所示。;在打开的对话框中的“应用程序”编辑框中输入“Fiddler.exe”,在“动作”的下拉列表中选择“Direct”选项,单击“确定”按钮(见图7-24)。返回“代理规则”对话框,单击“确定”按钮。;爬取酷狗音乐PC客户端数据(有哪些信誉好的足球投注网站歌手的相关信息),输出首页歌曲的专辑名、歌曲名和歌手名。;7.2.3 典型案例;输出的歌曲信息如图7-27所示。;1.实战目的 练习使用Fiddler爬取App数据。 2.实战内容 爬取出版资格准题库App数据,获取出版专业基础(初级)模拟试题内容,包括标题、单项选择题、多项选择题和综合题,其中选择题包含题目、答案选项、正确答案和分析,综合题包含题目和分析,然后将其存储到TXT文件中。 3.实战分析 详情见P188~P193 【参考代码】详情见P190~P193 【运行结果】详情见P193~P194;THANK YOU

您可能关注的文档

文档评论(0)

139****1983 + 关注
实名认证
文档贡献者

副教授、一级建造师持证人

一线教师。

领域认证该用户于2023年06月21日上传了副教授、一级建造师

1亿VIP精品文档

相关文档