《Python网络爬虫基础教程》 课件——第5章 抓取动态网页数据.pptxVIP

第5章抓取动态网页数据;学习目标/Target;章节概述/Summary;目录/Contents;抓取动态网页的技术;;对于动态网页的数据可以直接使用模拟浏览器运行的方式进行实现，这样做就可以不用管网页内部是如何使用JavaScript渲染页面的，也不用管Ajax请求中到底有没有加密参数，在浏览器中看到是什么样的内容，抓取的结果便是什么样的内容。Python中提供了许多模拟浏览器运行的库，包括Selenium、Splash、PyAutoGUI等。;;;;Selenium和WebDriver的安装与配置;;在使用Selenium抓取动态网页的数据之前，我们需要先在计算机上安装Selenium，以及与Selenium一起配合使用的浏览器驱动WebDriver。为了避免后续在网络爬虫程序中重复指定WebDriver的执行路径，我们需要为WebDriver配置环境变量。;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;5.2Selenium和WebDriver的安装与配置;Selenium的基本使用;;5.3.1WebDriver类的常用属性和方法;5.3.1WebDriver类的常用属性和方法;5.3.1WebDriver类的常用属性和方法;5.3.1WebDriver类的常用属性和方法;;Selenium的WebDriver类中提供了定位元素的方法，这些方法按照元素的数量可以分为定位单个元素和定位多个元素。WebDriver类中定位单个元素的方法如下所示。;5.3.2定位元素;5.3.2定位元素;5.3.2定位元素;5.3.2定位元素;5.3.2定位元素;;常用的鼠标操作有双击、右击、拖曳、按住不动等，它们都封装为ActionChains类的方法。ActionChains类中常用的鼠标操作方法如下所示。;下面演示使用Selenium实现单击鼠标左键、鼠标指针悬停、鼠标拖曳的功能。;下面演示使用Selenium实现单击鼠标左键、鼠标指针悬停、鼠标拖曳的功能。;下面演示使用Selenium实现单击鼠标左键、鼠标指针悬停、鼠标拖曳的功能。;;Selenium中，Select类专门用于处理下拉框，该类提供了以下几个方法从下拉框中选择选项或取消选项。;下面通过一个示例演示Selenium中Select类的使用，具体代码如下所示。;;Selenium中的Alert类用于处理这3类弹出框，不过在处理弹框之前需要先使用WebDriver类对???的switch_to.alert选中弹出框。;5.3.5弹出框处理;5.3.5弹出框处理;5.3.5弹出框处理;;在浏览器中可以同时打开多个窗口，但每次只能显示一个窗口的页面。若希望显示其他窗口的页面，则需要单击窗口上方的选项卡，达到页面切换的效果。例如，在浏览器中同时打开两个窗口，分别展示百度首页和百度新闻页面，当前窗口展示的页面为百度首页。单击百度新闻选项卡后，当前窗口展示的页面变为百度新闻页面;Selenium通过窗口句柄来区分浏览器的窗口，它为每个浏览器窗口分配了唯一句柄ID，通过这个句柄ID可以切换到指定的页面。Selenium的WebDriver类中提供了一些操作窗口句柄的属性或方法。;下面通过示例演示如何使用Selenium实现页面切换，具体代码如下所示。;;Selenium提供了两种实现页面等待的方式，分别是隐式等待和显式等待，其中隐式等待是等待特定的时间，显式等待是指定某一条件，直到这个条件成立后才继续执行。;implicitly_wait(self,time_to_wait);fromseleniumimportwebdriver

driver=webdriver.Chrome()

driver.get(/)

#隐式等待,设置等待时间为10s

driver.implicitly_wait(10)

#聊天框是一个frame，需要切换到frame

driver.switch_to.frame(chatIframe)

element=driver.find_element_by_class_name(service)

print(element.text);WebDriverWait(driver,timeout,poll_frequency=POLL_FREQUENCY,ign