《python金融大数据分析》课件——任务三 Python标准库爬取金融数据.pptxVIP

任务三Python标准库爬取金融数据

知识目标1.了解python爬取数据的步骤2.熟悉python爬取数据的方法3.掌握将爬取的数据保存到本地的方法技能目标能够python爬取网页上所需要的金融数据。学习目标

目录CONTENTS任务要求1必备知识2任务实施3任务小结4

1 任务要求

任务要求如何利用python，获取中国银行外汇牌价数据，并保存在本地？

2 必备知识

思考：手动上网的操作过程？第一步：选择并启动浏览器第二步：在浏览器的地址栏中敲入网址，回车，就可以得到这个网页的内容第三步：复制粘贴或者通过其他手动录入表格的形式将数据保存到本地1打开网站浏览器指的是360、Google、Chrome、firefox、UC等等

思考：手动上网的操作过程？第一步：启动浏览器，打开浏览器窗口1打开网站在python中这种模块有很多，比如python标准库中自带的一个标准模块，叫做urllib.request。其中：“.”是用来划分层级的。网抓程序模拟浏览器指的是360、Google、Chrome、firefox、UC等等所谓的浏览器就是一个提供互联网访问功能的模块什么是url呢？它的全称是统一资源定位符(UniformResourceLocator)，俗称“网址”。我们常说的在互联网上查看的每一个网页、每一个图片，每一个视频，都是互联网上的一个资源，所以访问这个资源时使用的地址就被称为统一资源定位符。

思考：手动上网的操作过程？第一步：启动浏览器，打开浏览器窗口第二步：在浏览器的地址栏中敲入网址，回车，就可以得到这个网页的内容1打开网站网抓程序模拟通过urllib.request中的函数urlopen打开网址，获取网页内容比如：urlopen(https://www.baidu.com)

思考：手动上网的操作过程？第一步：启动浏览器，打开浏览器窗口第二步：在浏览器的地址栏中敲入网址，回车，就可以得到这个网页的内容1打开网站网抓程序模拟通过python数据分析模块中的函数将获取到的数据保存到本地excel中比如：df.to_excel(路径/名称.xlsx)第三步：复制粘贴或者通过其他手动录入表格的形式将数据保存到本地

打开网站1解析网页内容2爬取所需数据3Python爬取数据的基本思路一

打开网站#加载包，从urllib.request中导入urlopen这个函数（这一步相当于选择并打开浏览器）fromurllib.requestimporturlopen由于urllib是python自带的模块，因此不需要专门安装。#输入网址，打开网页r=urlopen(/sourcedb/whpj/)urlopen()函数返回一个HttpResponse对象，用于对所得到的网页进行各种操作。#HttpResponse.read()用于读取网页的文本内容，不执行任何编码转换，直接返回一个bytes对象（字节数据）c=r.read()print(c)1

解析网页内容2我在浏览器里看到的，可是有表格、有图片，规规整整的文字，为什么这个程序抓下来的却是乱七八糟的一堆混乱的字符呢？输出结果：b!DOCTYPEhtmlPUBLIC-//W3C//DTDXHTML1.0Transitional//EN/TR/xhtml1/DTD/xhtml1-transitional.dtd\nhtmlxmlns=/1999/xhtml\nhead\nmetahttp-equiv=Content-Typecontent=text/html;charset=utf-8/\ntitle\xe4\xb8\xad\xe5\x9b\xbd\xe9\x93\xb6\xe8\xa1\x8c_\xe9\x87\x91\xe8\x9e\x8d\xe5\xb8\x82\xe5\x9c\xba_\xe5\xa4\x96\xe6\xb1\x87\xe7\x89\x8c\xe4\xbb\xb7/title\nmetacontent=name=keywords/\nmetacontent=name=description/\nlinkhref=/images/boc2013_common.cssrel=stylesheettype=text/css\nlinkhref=/images/boc2013_reset.cssrel=stylesheettype=text/css\nlinkhref=/images/boc2013_pages.cssrel=stylesheettype=text/css\nscriptlanguage=JavaScriptsrc=/head_620.js/script\nscript