大数据分析 第九章 pandas 数据分析与清洗.ppt

【例9-27】在pandas中读取含有缺失值的文件。 首先准备含有缺失值的csv文件如下： white,red,blue,pink,black,green,animal 1,2,3,4,5,6,cat 2,3,6,NA,2,3,dog 1,2,5,NULL,7,6,pig 2,3,4,NA,2,1,mouse 将其保存为5.csv。 （1）直接读取含有缺失值的文件，代码如下： import pandas as pd import numpy as np df=pd.read_csv(5.csv) print(df) pandas数据清洗 方法名称 方法描述 cleaned 清除所有缺失值 dropna 根据条件过滤缺失值 isnull 返回一个布尔值，标明哪些是缺失值 fillna 填充缺失值数据 notnull isnull的否定式 【例9-28】在pandas中处理数据缺失值，代码如下。 import pandas as pd import numpy as np frame=pd.DataFrame([[1,2,3,None],[4,7,None,3],[None, None, None, None]]) frame 在数据采集中经常会出现重复的数据，这时可以使用pandas来进行数据清洗。在pandas中可以使用方法duplicated（）来查找重复数据，使用方法drop_duplicated（）来清洗重复数据 9.4 pandas数据可视化 pandas使用一维的数据结构Series和二维的数据结构DataFrame来表示数据，因此相比较于numpy，pandas可以存储混合的数据结构。 pandas中的绘图函数如下： import pandas as pd import numpy as np from pandas import DataFrame,Series import matplotlib.pyplot as plt 此外，根据需要，有时还要引入numpy中的随机数模块： from numpy.random import randn 【例9-31】在pandas中使用Series绘制线性图，代码如下。 from pandas import DataFrame,Series import pandas as pd import numpy as np import matplotlib.pyplot as plt s = pd.Series(np.random.randn(10).cumsum(), index=np.arange(0, 100, 10)) s.plot() plt.show() 【例9-32】在pandas中使用DataFrame绘制线性图，代码如下。 from pandas import DataFrame,Series import pandas as pd import numpy as np import matplotlib.pyplot as plt df = pd.DataFrame(np.random.randn(10, 4).cumsum(0), columns=[A, B, C, D], index=np.arange(0, 100, 10)) df.plot() plt.show() 本章小结 （1）pandas是Python中的一个数据分析与清洗的库，pandas库是基于numpy库构建的。在pandas库中包含了大量的标准数据模型，并提供了高效地操作大型数据集所需的工具，以及大量快速便捷地处理数据的函数和方法，使得以numpy为中心的应用变得十分简单。 （2）在pandas库有两个最基本的数据类型，分别是Series和DataFrame。其中Series数据类型表示一维数组，与numpy中的一维array类似，并且二者与Python基本的数据结构List也很相近。而DataFrame数据类型则代表二维的表格型数据结构，也可以将DataFrame理解为Series的容器。 （3）pandas使用一维的数据结构Series和二维的数据结构DataFrame来表示数据，因此pandas可以高效的绘图。 大数据分析 第九章 pandas 数据分析与清洗 本章学习目标 掌握pandas安装和运行 掌握pandas的基本语法 掌握p