工业互联网预测性维护 课件 0701 工业互联网预测性维护数据预处理.pptx

工业互联网预测性维护—数据预处理2023年10月

任务描述请根据系统提供的订单数据表，按要求完成以下任务：统计订单表格中，商品描述(choice_description)中为“NaN”的数量，并将其批量替换为“fault”

任务要求1.获取数据。数据地址：http://72.:80/JS001/data/user/15098/63/fj_order_data.csv2.统计NaN的数量3.将“NaN”批量替换为“fault”

isna函数NaN即NotANumber，在Python中通常用来表示空值，或者除0错误。NaN的判断常用isna函数，isna函数是pandas库中的一个函数，因此其用法为：pandas.isna(obj)obj：要检查是否为空或缺少值的对象。

isna函数使用示例

isna().sum()在数组中，isna().sum()用来统计某个数组的NaN数量在Dataframe中，isna().sum()用来统计每一列的NaN数量对上一页的示例使用sum():

空值的处理在用python处理数据时，我们通常会遇到数据不完整的情况，比如有空值的时候，我们想要删除控制所在的行或列，或者是我们给空值设置为某一个值。这时候就可以用dropna和fillna两个函数来实现空值的处理。

空值的处理-dropna()dropna(axis,how,thresh,subset,inplace)

空值的处理-dropna()示例importnumpyasnpimportpandasaspddataSet=pd.DataFrame(np.arange(12).reshape(4,3),index=[0,1,2,3],columns=[a,b,c])dataSet.iloc[1,[1]]=np.nandataSet.iloc[2,[1,2]]=np.nanprint(dataSet)

空值的处理-dropna()示例

空值的处理-dropna()示例调用函数dataSet.dropna(axis=1),其他参数默认，删除空值nan所在的列。

空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,how=all),我们会删除整列都是空值的=列，但是我们的数据中，没有一列都为空值nan的列，所以，结果还是原数据的结果，没有改变。

空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,thresh=3),意思是我每一列的非空的值的数量只要大于等于3我就保留，否则删除这一列。因为原数据中，b这一列的非空值的数量为2，并不大于3，所以要删除b这一列。

空值的处理-dropna()示例调用函数dataSet.dropna(axis=1,subset=[1])，如果axis=0，表示如果指定行x中有空值，则删除所在的列；如果axis=1，表示如果指定列x有空值，则删除空值所在的行。

空值的处理-dropna()示例调用函数dataSet.dropna(inplace=True),参数为True时，表明是在原数据上操作的，没有原数据的副本，上面调用的那些函数的参数inplace都是默认值False，在调用上面那些函数之后，可以打印输出一下dataSet这个原数据，他并没用改变。如果inplace=True的话，则原数据也改变了。

空值的处理-fillna()fillna(axis,mthod,limit,inplace)

空值的处理-fillna()示例继续使用前面的例子。调用函数dataSet.fillna(100),如果不指定任何参数的时候，可以用一个数值来代替数据中的所有空值nan。如下如所示

空值的处理-fillna()示例通过字典来将指定的地方的空值改为我们想要设置的值。

空值的处理-fillna()示例调用method参数进行前值填充或后值填充，在没有声明axis情况下，axis默认为0

空值的处理-fillna()示例后值填充示例如下。这里的method等于bfill，这里没有声明axis，则axis默认为0，即按照列进行处理，在这里空值nan将会由它所在的列的后一个不是空值的值来赋值给它，并且我们限制，每一列最多只能填充一个空值，剩下的我们不管。如下图所示。

空值的处理-fillna()示例请根据系统提供的订单数据表，按要求完成以下三个任务：传入一个字符串，返回订单总金额(quantity*item_price)最大或最小的商品，并返回商品的名称(item_name)。

任务2任务详情请根据系统提供的订单数据表，按要求完成以下三个任务：传入一个字符串，返回订单总金额(quantity*item_price)最大或最小