《Python网络爬虫》 课件 第3单元-爬取APP数据.pptx

Python网络爬虫第三单元爬取APP数据

教学概述概述APP（Application），也称为手机软件或应用软件，主要指安装在智能手机上的软件，完善原始系统的不足与个性化。使手机完善其功能，为用户提供更丰富的使用体验的主要手段。手机软件的运行需要有相应的手机系统，目前主要的手机系统有：苹果公司的iOS系统、谷歌公司的Android（安卓）系统。随着智能手机的普及，人们在沟通、社交、娱乐等活动中越来越依赖于手机app软件。手机软件是通过分析，设计，编码，生成软件，而手机软件是一种特殊的软件。APP中主要做到的效果是数据展示和用户交互，而数据的来源，也就是本次学习情境的目标所在，是通过HTTP和Socket通信方式与后台服务器定义的接口进行交互的。

教学概述教学导航知识重点Fiddler及Android模拟器的安装使用。知识难点利用Fiddler及Android模拟器进行爬取app项目开发。推荐教学方式从Fiddler及Android模拟器功能进行介绍，让学生有大体了解实际爬取app项目开发，让学生掌握如何使用。建议学时8学时推荐学习方法通过老师讲解掌握Fiddler及Android模拟器基本概念，然后进行实操一步步通过Fiddler及Android模拟器构建爬虫项目，加深印象。必须掌握的理论知识Fiddler的使用；网络交互数据解析；必须掌握的技能Fiddler的安装和配置；Fiddler的使用；网络交互数据解析；模拟器的安装配置。

第三单元爬取APP数据0304Fiddler与模拟器的整合关联Fiddler和模拟器分析并确定目标数据构建项目采集数据0102

情境一：使用Fiddler+Requests爬取新闻类APP接口数景概述知识准备案例讲解总结

PART01情境概述情境一：使用Fiddler+Requests爬取新闻类APP接口数据

情境概述学习情境描述1.教学情境描述：通过对Fiddler工具的安装、配置和使用来定位数据访问具体细节；通过对真机或模拟器APP数据访问和用户交互操作的数据和行为解析；通过Requests或其他爬虫技术的应用，爬取手机应用APP交互数据。2.关键知识点：Fiddler的安装和配置、Fiddler的使用、网络交互数据解析、模拟器的安装配置、APP的应用、Requests数据请求、JSON数据解析、CSV数据存储。3.关键技能点：Fiddler的使用、模拟器的安装配置、Requests数据请求、JSON数据解析、CSV数据存储。情境一：使用Fiddler+Requests爬取新闻类APP接口数据

情境概述本节课的学习目标理解APP应用数据交互和用户行为交互原理。掌握Fiddler工具安装配置。掌握模拟器的安装配置。掌握Fiddler和模拟器的整合。掌握Fiddler定位解析网络数据交互功能。掌握Requests网络爬虫技术。掌握JSON数据格式并解析。掌握CSV数据格式并存储。情境一：使用Fiddler+Requests爬取新闻类APP接口数据

情境概述本节课的任务书完成Fiddler软件的安装配置。完成模拟器软件的安装配置。完成Fiddler与模拟器的整合。使用Fiddler定位新闻类APP数据交互接口与数据结构。使用Requests获取接口数据。使用JSON解析接口数据。使用CSV存储APP数据。情境一：使用Fiddler+Requests爬取新闻类APP接口数据

PART02知识准备情境一：使用Fiddler+Requests爬取新闻类APP接口数据

知识准备引导问题APP数据交互和Web数据交互一样吗？如果不一样，有什么不一样？如果APP和Web数据交互不同，有什么不同？定位并抓取APP数据和Web数据一样吗？如果不一样，有什么不一样？我们可以通过什么方式定位APP数据接口？定位APP数据可能会遇到哪些问题？