Python数据分析常用方法手册.pdfVIP

1. Python 数据处理和分析常用语句 数据分析的一般步骤包括数据获取、数据整理、数据描述、数据分析 1.1 数据获取 1.1.1 数据获取方式 1.1.2 查看数据属性 Data.shape 查看数据多少行、多少列 Data.columns 查看数据列 Data.dtypes 查看各数据字段的属性 1.2 数据整理 #第二步： 做一些数据的基本处理： 1.2.1 数据基本处理（类 excel） #0. 数据类型的转换 例如：如果要做时间序列分析，首先要将交易日期从通用对象（ object ）转换为日期对象 （datetime ） df[date] = pd.to_datetime(df[date]) #1. 如何获取导入的数据有几行几列？ 直接用 df.shape，返回一个维度（几行，几列）的元组； df.columns.size #获取列数 df.iloc[:, 0].size #获取行数 #2. 如何查看指定行、列、子集？ #df = pandas.read_excel(1.xls,sheetname= 店铺分析日报 ) df = df.loc[:,[ 股票代码 ,股票名称 , 营业总收入 ]]# 访问指定的列 #df=df[ 股票代码 ] #查看指定列 #DataFrame.ix[index_name] #查看指定行 #dataframe[m:n] # 选择多行 #dataframe[dataframe[col35]] #条件筛选 #dataframe.ix[0:3,0:5] #选择子集 #3. 如何添加新的列 例 1：添加一个总和栏来显示 Jan、Feb 和 Mar 三个月的销售总额 df[total] = df[Jan]+df[Feb]+df[Mar] 例 2：把计算结果添加为一个新的列 df[P/E] = df. 收盘价 /df. 基本每股收益 #新的列名，后面是对应的数值 例 3：在 excel 表最后加一行求各列和 sum_row=df[[Jan,Feb,Mar,total]].sum() #4. 如何删除行列 #df_delete=df.drop([result],axis=1) # 删除列 #DataFrame.drop([index1,index2...]) # 删除行 #5. 如何对数据进行排序？ df[P/E].size #获取‘ P/E’ 这列共有多少行 newdf=df_delete.sort(P/E) #默认升序排列 sort_index 也可以进行排序 #6. 如何对数据进行筛选？ #1.筛选出 predictaqi_norm1 这一列大于 100 的行； aqicsv[aqicsv[predictaqi_norm1]100] 也可以写为： data[data.收盘价 100] #2.使用 （并）与| （或）实现多条件筛选 aqicsv[(aqicsv[FID]37898) (aqicsv[FID]38766) ] aqicsv[(aqicsv.predictaqi_norm1150) |(aqicsv.predictaqi_norm1100) ] #3.筛选后取另外两列数据 如果只需要其中两列数据，而同时利用另外两列进行筛选时可以这样 .如果只需要其中的某 几列可以写为 aqicsv[[FID,x,y]] aqicsv[[x,y]][(aqicsv.FID 10000) | (aqicsv.predictaqi_norm1 150)] #4.isin()用法：筛选某一列数据符合等于规定值 (它使得我们可以定义一个列表，里面包含我们所希望查找的值 ); data7=data[data[股票代码 ].isin([sh600141,sh600754,sh603017,sh603198])] # 同样，以上这个语句可以用 query() 函数来查询，需要安装