数据采集与预处理（共9章）-第1章-概述.pptVIP

1.5.4 数据清洗的注意事项 在进行数据清洗时，需要注意如下事项： （1）数据清洗时优先进行缺失值、异常值和数据类型转换的操作，最后进行重复值的处理。 （2）在对缺失值、异常值进行处理时，要根据业务的需求进行处理，这些处理并不是一成不变的，常见的填充包括：统计值填充（常用的统计值有均值、中位数、众数）、前/后值填充（一般使用在前后数据存在关联的情况下，比如数据是按照时间进行记录的）、零值填充。 （3）在数据清洗之前，最为重要的对数据表的查看，要了解表的结构和发现需要处理的值，这样才能将数据清洗彻底。 （4）数据量的大小也关系着数据的处理方式。 （5）在导入数据表后，一般需要将所有列一个个地进行清洗，来保证数据处理的彻底性，有些数据可能看起来是可以正常使用的，实际上在进行处理时可能会出现问题（比如某列数据在查看时看起来是数值类型，但是其实这列数据的类型却是字符串，这就会导致在进行数值操作时无法使用）。 1.5.5 数据清洗的基本流程 数据清洗的基本流程一共分为5个步骤，分别是数据分析、定义数据清洗的策略和规则、搜寻并确定错误实例、纠正发现的错误以及干净数据回流。具体如下： （1）数据分析。 （2）定义数据清洗的策略和规则。 （3）搜寻并确定错误实例。 （4）纠正发现的错误。 （5）干净数据回流。 1.5.6 数据清洗的评价标准 数据清洗的评价标准包括以下几个方面： （1）数据的可信性。 （2）数据的可用性。 （3）数据清洗的代价。 1.6 数据集成 数据处理常常涉及数据集成操作，即将来自多个数据源的数据，结合在一起形成一个统一的数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。 在数据集成过程中，需要考虑解决以下几个问题： （1）模式集成问题。 （2）冗余问题。 （3）数据值冲突检测与消除问题。 1.7 数据转换 1.7.1数据转换策略 1.7.2 平滑处理 1.7.3 规范化处理 1.7.1数据转换策略 常见的数据转换策略包括： （1）平滑处理。帮助除去数据中的噪声，常用的方法包括分箱、回归和聚类等。 （2）聚集处理。对数据进行汇总操作。例如，每天的数据经过汇总操作可以获得每月或每年的总额。这一操作常用于构造数据立方体或对数据进行多粒度的分析。 （3）数据泛化处理。用更抽象（更高层次）的概念来取代低层次的数据对象。例如，街道属性可以泛化到更高层次的概念，如城市、国家，再比如年龄属性可以映射到更高层次的概念，如青年、中年和老年。 （4）规范化处理。将属性值按比例缩放，使之落入一个特定的区间，比如0.0~1.0。常用的数据规范化方法包括Min-Max规范化、Z-Score规范化和小数定标规范化等。 （5）属性构造处理。根据已有属性集构造新的属性，后续数据处理直接使用新增的属性。例如，根据已知的质量和体积属性，计算出新的属性——密度。 1.7.2 平滑处理 噪声是指被测变量的一个随机错误和变化。平滑处理旨在帮助去掉数据中的噪声，常用的方法包括分箱、回归和聚类等。 1.分箱 分箱（Bin）方法通过利用被平滑数据点的周围点（近邻），对一组排序数据进行平滑，排序后的数据被分配到若干箱子（称为 Bin）中。 如图5所示，对箱子的划分方法一般有两种，一种是等高方法，即每个箱子中元素的个数相等，另一种是等宽方法，即每个箱子的取值间距（左右边界之差）相同。 1.7.2 平滑处理 1.分箱 这里给出一个实例介绍分箱方法。假设有一个数据集X={4,8,15,21,21,24,25,28,34}，这里采用基于平均值的等高分箱方法对其进行平滑处理，则分箱处理的步骤如下： （1）把原始数据集X放入以下三个箱子： 箱子1：4,8,15 箱子2：21,21,24 箱子3：25,28,34 （2）分别计算得到每个箱子的平均值： 箱子1的平均值：9 箱子2的平均值：22 箱子3的平均值：29 （3）用每个箱子的平均值替换该箱子内的所有元素： 箱子1：9,9,9 箱子2：22,22,22 箱子3：29,29,29 （4）合并各个箱子中的元素得到新的数据集{9,9,9,22,22,22,29,29,29}。 1.7.2 平滑处理 此外，还可以采用基于箱子边界的等高分箱方法对数据进行平滑处理。利用边界进行平滑时，对于给定的箱子，其最大值与最小值就构成了该箱子的边界，利用每个箱子的边界值（最大值或最小值）可替换该箱子中的所有值。这时的分箱结果如下： 箱子1：4,4,15 箱子2：21,21,24 箱子3：25,25,34 合并各个箱子中的元素得到新的数据集{4,4,15,21,21,24,25,25,34}。 1.分箱 1.7.2 平滑处理 2.回归 可以利用拟合函数对数据进行平滑。例如，借助线性回归方法（包括多变量回归方法），就可以获得