Python数据分析与应用 课件汇总 (周元哲) 第6--13章 Python网络爬虫--- Sklearn .pptx

第6章Python网络爬虫;网络爬虫;爬虫流程;爬取;Requests;Requests;解析;存储;正则表达式;正则表达式;正则表达式;re模块;Findall（）;search（）;Match();split();split();split();BeautifulSoup;BeautifulSoup;BeautifulSoup;动态网页的内容由JavaScript动态加载生成，而Request模块不能执行JS和CSS代码。

一般采用Selenium抓取动态网页的数据,Selenium最初是Web的测试工具，可以操作浏览器，像BeautifulSoup一样得到html页面元素。;Seleniumphantomjs;不同的浏览器，如IE、Chrome、Firefox等，WebDriver需要不同的驱动来实现。在Firefox浏览器webdriver驱动下载网址/mozilla/geckodriver/releases，下载geckodriver.exe文件。; Scrapy是Python开发的抓取框架，用于抓取web站点并从页面中提取结构化的数据。在anacondaPrompt下使用命令：

pipinstallScrapy进行安装;Scrapy是爬取网站数据的应用框架，可以进行定制化爬取。;爬取网站数据的应用框架，可以进行定制化爬取。

步骤1：创建一个Scrapy项目

步骤2：设置数据存储模板，填写Item.py文件

步骤3：编写爬取网站的spider，填写meiju.py文件

步骤4:编写settings.py配置文件

步骤5:编写数据处理的Pipeline.py文件，存储提取到的Item数据

;第7章Python与数据分析;啤酒与尿布;数据分析流程;明确目标;数据清洗;模型评估;Python数据分析库;Numpy;Matplotlib;Pandas;seaborn;Scipy;Sklearn;数据分类;数据统计量;数据统计量;数据统计量;数据统计量;数据可视化;折线图;饼图;散点图;直方图;条形图;箱线图;热力图;第8章Numpy;NumPy;NumPy;ndarray;创建数组;1.array创建数组;2.arange函数创建数组;3.linspace用于创建指定数量等间隔的序列，实际生成一个等差数列;4.logspace用于生成等比数列;查看数组;查看数组;索引和切片;线性代数;四则运算;矩阵运算;特征根和特征向量;多元一次方程组;统计量;平均值;最值;中位数;极差;方差;协方差;第9章Matplotlib

;Matplotlib;Matplotlib;绘图步骤;importmatplotlib.pyplotasplt

fig=plt.figure()

ax=fig.add_subplot(111)

ax.set(xlim=[0.5,4.5],ylim=[-2,8],title=AnExample Axes‘,ylabel=Y-Axis,xlabel=X-Axis)

plt.show()

;绘图函数;子图;子图;二维图;线性图;散点图;饼状图;条形图;直方图;箱线图;三维图;三维曲??图;三维散点图;三维等高线图;动态图;概率分布;泊松分布;正态分布;均匀分布;二项分布;三维图;三维曲线图;三维散点图;三维等高线图;第10章Pandas

;pandas;pandas;pandas常用6个类;Pandas2个重要类;创建Series;通过ndarray创建Series;通过dict创建Series;通过list创建Series;Series属性;访问Series的属性;访问Series数据;更新Series;追加Series和插入单个值;删除Series元素;DataFrame;创建DataFrame;通过dict创建DataFrame;通过list创建DataFrame;通过Series创建DataFrame;DataFrame属性;更新DataFrame;插入和删除DataFrame;Index;plot;散点图;条形图;直方图与密度图;箱线图;面积图;数据转换;数据分组与聚合;数据处理;读取外部数据;第11章scipy

;Scipy;Scipy;Scipy;稀疏矩阵;矩阵运算;线性方程组求解;非线性方程组求解;函数最值;最小二乘法;数据分布;正态分布;指数分布;泊松分布;指数分布;统计量;;;图像处理;图像旋转;图像平滑;高斯滤波;;图像锐化;第12章Seaborn

;Seaborn;安装Seaborn;绘图特色;图表分类;数据集;绘图设置;绘