《Python网络爬虫》 课件 第2单元-爬取动态网页.pptx

Python网络爬虫第二单元爬取动态网页

教学概述概述动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了（除非修改页面代码）。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。动态网页是基本的html语法规范与Java、VB、VC等高级程序设计语言、数据库编程等多种技术的融合，以期实现对网站内容和风格的高效、动态和交互式的管理。因此，从这个意义上来讲，凡是结合了HTML以外的高级程序设计语言和数据库技术进行的网页编程技术生成的网页都是动态网页。

第二单元爬取动态网页02爬取百度图片数据爬取漫画数据01

情境一：爬取百度图片数境概述知识准备案例讲解总结

PART01情境概述情境一：爬取百度图片数据

情境概述学习情境描述教学情境描述：通过对Scrapy、JSON、MySQL知识点的学习，对技术综合应用的操作，学习并掌握如何去区分静态网页和动态网页交互、去分析动态网页实际数据来源、去获取动态网页交互数据，最终达到：使用Scrapy获取动态数据源；使用JSON解析动态数据；使用PyMySQL存储动态结构化数据MySQL数据库。关键知识点：Python库环境管理；Scrapy网络交互；JSON数据格式；JSON数据解析；PyMySQL结构化存储。关键技能点：Scrapy网页及接口请求；JSON数据解析；MySQL结构化数据存储。情境一：爬取百度图片数据

情境概述本节课的学习目标掌握Python模块库（Scrapy、JSON、PyMySQL等）安装管理应用。能区分静态网页和动态网页。能根据实际情况，定位动态数据来源。理解Scrapy框架体系。理解Scrapy网络爬虫框架及原理。掌握Scrapy项目系统配置及爬虫策略配置。能使用Scrapy进行网页和接口数据采集工作。能使用JSON解析动态数据源。能使用PyMySQL完成MySQL结构化数据存储。情境一：爬取百度图片数据

情境概述本节课的任务书完成通过PIP命令安装及管理Scrapy、JSON、PyMySQL库。完成通过Scrappy获取列表数据、分页数据及多层级的汽车销售数据网页源代码。完成通过XPath格式化网页源文档，并获取对应类型的汽车销售数据。完成通过Pymysql将解析到的各车型销售数据结构化存储于本地MySQL中。情境一：爬取百度图片数据

PART02知识准备情境一：爬取百度图片数据

知识准备引导问题了解什么是动态网页，和静态网页有什么不同。如何定位动态网页数据源？如何获取动态网页数据源？动态网页数据是以什么样的格式或结构展现？如何解析动态网页数据？如何将动态数据在MySQL结构化存储？情境一：爬取百度图片数据

知识准备知识点介绍ScrapyJSONPyMySQL情境一：爬取百度图片数据

知识准备JSON情境一：爬取百度图片数据JSON介绍JSON(JavaScript?ObjectNotation,JS对象简谱)是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。JSON是DouglasCrockford在2001年开始推广使用的数据格式，在2005年-2006年正式成为主流的数据格式。JSON是存储和交换文本信息的语法，类似XML。JSON比XML更小、更快，更易解析。

知识准备JSON语法规则情境一：爬取百度图片数据JSON使用?JavaScript?语法来描述数据对象，但是JSON仍然独立于语言和平台。JSON语法是JavaScript语法的子集，包括以下内容：数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组JSON支持以下数据结构：名/值对集合：这一数据结构由不同的键值对组成。无序的对象结构：多个名称/值构成的封装体，类似字典表。有序的值列表：包括数组，列表，向量或序列等等。

知识准备情境一：爬取百度图片数据JSON名称/值对JSON数据的书写格式是：名称/值对。名称/值对包括字段名称（在双引号中），后面写一个冒号，然后是值。语法如下所示：其中value所对应的值可以是：数字、字符串、逻辑值、数组、对象、null。具体描述如下：name:value

知识准备情境一：爬取百度图片数据JSON对象JSON对象使用在大括号({})中书写，对象可以包含多个?key/value（键/值）对。其中：key必