数据清洗离群点与异常值检查97课件讲解.pptx

数据清洗——离群点与异常值检查

内容图示法（适合初学者）统计分析法判断异常原因处理方法：删除，均值代替，趋势填补，纠偏等

离群点、异常值离群点是一个数据对象，它显著不同于其他数据对象，好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”，离群点为“异常数据”。离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言，噪声在数据分析（包括离群点分析）中不是令人感兴趣的。如在信用卡欺诈检测，顾客的购买行为可以用一个随机变量建模。一位顾客可能会产生某些看上去像“随机误差”或“方差”的噪声交易，如买一份较丰盛的午餐，或比通常多要了一杯咖啡。这种交易不应该视为离群点，否则信用卡公司将因验证太多的交易而付出沉重代价。因此，与许多其他数据分析和数据挖掘任务一样，应该在离群点检测前就删除噪声。离群点检测是有趣的，因为怀疑产生它们的机制不同于产生其他数据的机制。因此，在离群点检测时，重要的是搞清楚为什么检测到的离群点被某种其他机制产生。通常，在其余数据上做各种假设，并且证明检测到的离群点显著违反了这些假设。【原文链接：/marticle/details

离群点的类型一般而言，离群点可以分成三类：全局离群点、情境（或条件）离群点和集体离群点。全局离群点：在给定的数据集中，一个数据对象是全局离群点，如果它显著的偏离数据集中的其他对象。全局离群点是最简单的一类离群点，大部分的离群点检测方法都旨在找出全局离群点。原文链接：/marticle/details情境离群点：在给定的数据集中，一个数据对象是情境离群点，如果关于对象的特定情境，它显著的偏离其他对象。情境离群点又称为条件离群点，因为它们条件的依赖于选定的情境。一般地，在情境离群点检测中，所考虑数据对象的属性划分成两组：???情境属性：数据对象的情境属性定义对象的情境。一般为静态属性变量，如信用卡欺诈检测中，不同年龄、不同地区的人消费情况是不同的，先按照静态属性将人群大致分类，再检测每一类的离群点，会得到更好的结果。???行为属性：定义对象的特征，并用来评估对象关于它所处的情境是否为离群点。在上述例子中，行为属性可以是消费金额，消费频率等情境离群点分析为用户提供了灵活性，因为用户可以在不同情境下考察离群点，这在许多应用中都是非常期望的。

集体离群点：给定一个数据集，数据对象的一个子集形成集体离群点，如果这些对象作为整体显著的偏离整个数据集。如一家供应链公司，每天处理数以千计的订单和出货。如果一个订单的出货延误，则可能不是离群点，因为统计表明延误时常发生。然而，如果有一天有100个订单延误，则必须注意。这100个订单整体来看，形成一个离群点，尽管如果单个考虑，它们每个或许都不是离群点。你可能需要更详细地整个考察这些订单，搞清楚出货问题。与全局和情境离群点检测不同，在集体离群点检测中，不仅必须考虑个体对象的行为，而且还要考虑对象组群的行为。因此，为了检测集体离群点，需要关于对象之间联系的背景知识，如对象之间的距离或相似性测量方法。/marticle/details如能否通过检测集体离群点来划分不同的运行工况？）

离群点检测方法异常检测也称偏差检测和例外挖掘。异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。（2）基于邻近度的技术：通常可以在对象之间定义邻近性度量，异常对象是那些远离其他对象的对象。（3）基于密度的技术：仅当一个点的局部密度显著低于它的大部分近邻时才将其分类为离群点。

常用方法主要有：人工操作——图示法（可视化数据探索）统计学方法基于邻近性的方法基于聚类的方法基于分类的方法挖掘情境离群点和集体离群点高维数据中的离群点检测

1、人工操作——图示法（可视化数据探索）绘制参数的趋势曲线或散点图，观察数据范围，发现异常值（通常为0值、相对的巨正或巨负值——离群值）简洁、直观适合低维度数据适合人工参与处理而非自动处理示例0值异常；离群值；（示例录像）非正常参数（数值不符合正常逻辑值要求）——依赖于初步数据处理及专业知识分析（如冷冻水进出水温差极小或极大）

0值异常有2台冷水机组运行，但所有冷冻泵、冷却泵运行功率为0——异常！

离群值

非正常参数（异常值，含异常0值）

2、统计学方法统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。大部分用于离群点检测的统计学方法都是构建一个概率分布模型，并考虑对象有多大可能符合该模型。离群点检测的统计学方法对数据的正常性做假定。假定数据集中的正常对