《数据采集与处理技术》课件——第8章 使用pandas进行数据清洗.pptxVIP

第8章使用pandas进行数据清洗

目录8.1NumPy的基本使用方法8.2pandas数据结构8.3基本功能8.4汇总和描述统计8.5处理缺失数据8.6综合实例

8.1NumPy的基本使用方法

8.1NumPy的基本使用方法NumPy是Python语言的一个扩充程序库，支持高级的数组与矩阵运算，此外也针对数组运算提供了大量的数学函数库，包括线性代数运算、傅立叶变换和随机数生成等。如果没有安装NumPy，可以在Windows系统的cmd窗口中执行如下命令安装：pipinstallnumpy8.1.1数组创建8.1.2数组索引和切片8.1.3数组运算

8.1.1数组创建下面是数组创建的一些具体实例：importnumpyasnpa=[1,2,3,4,5]#创建简单的列表b=np.array(a)#将列表转换为数组barray([1,2,3,4,5])b.size#数组的元素个数5b.shape#数组的形状(5,)b.ndim#数组的维度1

8.1.1数组创建b.dtype#数据的元素类型dtype(int32)print(b[0],b[1],b[2])#访问数组元素123b[4]=6#修改数组元素barray([1,2,3,4,6])c=np.array([[1,2,3],[4,5,6]])#创建二维数组c.shape#数组的形状(2,3)print(c[0,0],c[0,1],c[0,2],c[1,0],c[1,1],c[1,2])123456

8.1.1数组创建Python做数据处理的时候经常要初始化高维矩阵，常用的函数包括zeros()、ones()、empty()、eye()、full()、random.random()、random.randint()、random.rand()、random.randn()等，具体如下：（1）zeros()：创建一个矩阵，内部元素均为0，第一个参数提供维度，第二个参数提供类型。a=np.zeros([2,3],int)aarray([[0,0,0],[0,0,0]])（2）ones()：创建一个矩阵，内部元素均为1，第一个参数提供维度，第二个参数提供类型。a=np.ones([2,3],int)aarray([[1,1,1],[1,1,1]])（3）empty()：创建一个矩阵，内部是无意义的数值，第一个参数提供维度，第二个参数提供类型。a=np.empty([2,3],int)aarray([[0,0,0],[0,0,0]])

8.1.1数组创建（4）eye()：创建一个对角矩阵，第一个参数提供矩阵规模，对于第二个参数而言，如果为0则对角线全为“1”，大于0则右上方第K条对角线全为“1”，小于0则左下方第K条对角线全为“1”，第三个参数提供类型。a=np.eye(3,k=1,dtype=int)aarray([[0,1,0],[0,0,1],[0,0,0]])a=np.eye(4,k=-2,dtype=int)aarray([[0,0,0,0],[0,0,0,0],[1,0,0,0],[0,1,0,0]])

8.1.1数组创建（5）full()：full((m,n),c)可以生成一个m×n的元素全为c的矩阵。a=np.full((2,3),4)aarray([[4,4,4],[4,4,4]])（6）random.random()：random.random((m,n))生成一个m×n的元素为0~1之间随机数的矩阵。a=np.random.random((2,3))aarray([[00.2398773,0,[000.5708038]])

8.1.1数组创建（7）random.randint()：numpy.random.randint(low,high=None,size=None,dtype=l)函数的作用是，返回一个随机整型数，范围从低（包括）到高（不包括），即[low,high)。如果没有写参数high的值，则返回[0,low)的值。a=np.random.randint(2,size=10)aarray([