《Python网络爬虫技术案例教程》PPT课件（共10单元）四单元爬取动态加载数据.pptxVIP

爬取动态加载数据;本章导读;学习目标;;有时用户在使用urllib库或requests库爬取网页时，爬取到的结果可能和在浏览器中看到的不一样，在浏览器中正常显示的页面数据，在爬取到的结果中却没有。;以京东有哪些信誉好的足球投注网站“Python”网页为例来说明什么是动态加载数据。;4.1 动态加载数据概述;4.1 动态加载数据概述;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面;4.2 逆向分析请求页面; 使用Selenium模拟浏览器访问淘宝首页（网址/），输出爬取到的HTML源代码。; from selenium import webdriver #导入webdriver模块 import time #导入time模块 #初始化Google Chrome浏览器对象，并赋值给browser browser = webdriver.Chrome() #请求淘宝首页，打开一个浏览器窗口 browser.get(/) time.sleep(2) #休眠2s print(browser.page_source) #输出HTML源代码;【运行结果】;实际动态网页中，很多Ajax请求的参数是加密的，用户很难通过分析Ajax请求获取真实的URL，还有一些动态加载数据并不是Ajax生成的，此时，可以使用Selenium模拟浏览器的方法来获取网页动态加载和渲染的数据。;selenium库需要使用ChromeDriver来驱动Google Chrome浏览器，因此需要下载并安装与浏览器版本对应的ChromeDriver。;4.3.3 安装ChromeDriver;4.3.3 安装ChromeDriver;4.3.3 安装ChromeDriver;from selenium import webdriver #导入webdriver模块 brower = webdriver.Chrome() #初始化Google Chrome浏览器对象 brower = webdriver.Firefox() #初始化Firefox浏览器对象 brower = webdriver.Edge() #初始化Edge浏览器对象 brower = webdriver.PhantomJS() #初始化PhantomJS浏览器对象;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用; 使用Selenium模拟浏览器访问淘宝首页（网址/），通过selenium库提供的常用方法定位节点，输出爬取到的节点和节点信息。;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;【例4-5】;【参考代码】;【运行结果】;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.4 selenium库的使用;4.3.5 典型案例;4.3.5 典型案例;爬取到的数据不仅可以存储至文件，也可以存储至数据库。;访问/downloads/mysql/，在打开的下载页面中单击“Windows(x86, 64-bit), ZIP Archive”中的“Download”按钮，如图4-18所示。;解压下载好的安装包，将“mysql-8.0.21-winx64”文件夹放入安装目录（如D:\，目录中最好不要有中文或特殊字符），如图4-20所示。;输入“mysqld --install”命令，安装服务器，如图4-22所示。;输入“mysql -uroot -p”命令，首次登录直接按回车键进入，如图4-24所示。;输入“use mysql”命令选择数据库； 输入“alter user root@localhost identified by 123456;”命令修改其密码为“123456”； 输入“flush privileges;”命令刷新数据库； 输入“exit;”命令退出数据库，如图4-25所示。;输入“mysql -uroot -p”命令，按回车键，在“Enter password”后输入密码“123456”后按回车键重新登录，如图4-26所示。;Python 3.x版本提供pymysql库连接MySQL数据库。 pymysql库不是Python内置的标准库，使用之前需要安装，安装方法与requests库的安装类似（