数据分析师-数据分析师基础-数据清洗_缺失值处理方法.docx

PAGE1

PAGE1

数据清洗的重要性

1缺失值对数据分析的影响

在数据分析的旅程中，数据清洗是至关重要的第一步。缺失值，即数据集中某些观测值的缺失，是数据清洗中常见的问题。这些缺失值可能由多种原因造成，包括数据收集过程中的错误、设备故障、人为疏忽等。缺失值的存在对数据分析的影响是深远的：

偏差引入：缺失值可能导致分析结果的偏差，因为缺失的观测值可能与非缺失观测值在某些方面存在系统性差异，从而影响模型的准确性和可靠性。

信息损失：直接删除含有缺失值的记录会导致数据量的减少，从而可能损失重要的信息，影响分析的全面性和深度。

算法性能：许多机器学习算法不能直接处理含有缺失值的数据，这要求在模型训练前对数据进行预处理，否则可能导致算法性能下降。

决策失误：在业务决策中，基于不完整数据的分析可能导致错误的决策，影响企业的战略规划和市场定位。

2数据清洗在预处理阶段的角色

数据清洗在预处理阶段扮演着关键角色，它确保了数据的质量，为后续的数据分析和建模奠定了坚实的基础。在处理缺失值时，数据清洗主要包括以下几种方法：

2.1删除法

删除含有缺失值的记录是最直接的方法，适用于缺失值比例较小的情况。然而，这种方法可能导致信息的损失，特别是在缺失值比例较高的数据集中。

2.1.1示例代码

importpandasaspd

#创建一个包含缺失值的示例数据集

data={A:[1,2,None,4],

B:[5,None,7,8],

C:[9,10,11,12]}

df=pd.DataFrame(data)

#删除含有任何缺失值的行

df_cleaned=df.dropna()

#输出清洗后的数据

print(df_cleaned)

2.2填充法

填充法包括使用均值、中位数、众数等统计量填充缺失值，或者使用预测模型进行填充。这种方法可以保留更多的数据，但可能会引入一定的偏差。

2.2.1示例代码

#使用列的均值填充缺失值

df_filled=df.fillna(df.mean())

#输出填充后的数据

print(df_filled)

2.3预测填充法

预测填充法利用数据集中的其他变量或外部数据，通过建立预测模型来估计缺失值。这种方法较为复杂，但可以更准确地填充缺失值，减少偏差。

2.3.1示例代码

fromsklearn.imputeimportKNNImputer

#使用KNNImputer填充缺失值

imputer=KNNImputer(n_neighbors=2)

df_imputed=pd.DataFrame(imputer.fit_transform(df),columns=df.columns)

#输出预测填充后的数据

print(df_imputed)

2.4保留缺失值

在某些情况下，保留缺失值并将其作为一种特殊的类别处理，可以避免信息的损失。这种方法适用于缺失值本身具有某种意义的情况。

2.4.1示例代码

#将缺失值视为一种类别

df_retained=df.fillna(Missing)

#输出保留缺失值后的数据

print(df_retained)

通过上述方法，数据清洗在预处理阶段有效地处理了缺失值，为后续的数据分析和建模提供了高质量的数据支持。选择哪种方法取决于缺失值的性质、数据集的特征以及分析的目标。#缺失值的识别

3使用统计方法检测缺失值

3.1原理

在数据清洗过程中，识别缺失值是首要步骤。统计方法是检测数据集中缺失值的常见方式，它通过计算数据集中每个特征的完整度，即非缺失值的比例，来判断哪些特征存在缺失。对于数值型特征，还可以通过计算均值、中位数、众数等统计量来辅助识别异常的缺失模式。

3.2内容

3.2.1计算缺失值比例

在Python中，使用Pandas库可以方便地计算数据集中每个特征的缺失值比例。

importpandasaspd

#创建示例数据集

data={

A:[1,2,None,4],

B:[None,2,3,4],

C:[1,2,3,4]

}

df=pd.DataFrame(data)

#计算每个特征的缺失值比例

missing_ratio=df.isnull().sum()/len(df)

print(missing_ratio)

3.2.2利用统计量识别异常缺失模式

对于数值型特征，可以通过比较缺失值前后的统计量来识别异常的缺失模式。

#计算缺失值前后的均值

mean_before=df[A].mean()

df[A].fillna(df[