第6章离群点挖掘.pptVIP

具体算法描述如下： 第一阶段，聚类：对数据集D进行聚类，得到聚类结果 ； 第二阶段，确定离群簇：计算每个簇 的离群因子 ，按 递减的顺序重新排列 ， 求满足： 的最小 ，将簇 标识为‘outlier’类(即其中每个对象均看成离群)，而将 标识为‘normal’类(即其中每个对象均看成正常)。 6.3.2 基于簇的离群因子的方法 （5） 例6-3 基于聚类的离群点检测示例2 对例6-3中的数据集，聚类后得到三个簇C={C1、C2、C3}， 簇心分别为：C1(5.5,7.5)、C2(5,2)、C3(1.75,2.25)。 簇之间的距离分别为： 进一步计算三个簇的离群因子，具体如下： 基本思想如下： 在对训练集聚类的基础上，按照簇的离群因子排序簇，并按一定比例将簇标识为”normal”或”outlier”，以标识的簇作为分类模型，按照对象与分类模型中最接近簇的距离判断它是否离群点。 6.3.3 基于聚类的动态数据的离群点检测方法 （1） 6.3.3 基于聚类的动态数据的离群点检测方法 （2） (1) 模型建立 第一步，聚类：对训练集 进行聚类，得到聚类结果 ； 第二步，给簇作标记：计算每个簇 的离群因子 ，按 递减的顺序重新排列 ，求满足： 的最小b，将簇 识为离群簇，而将 标识为正常簇。 第三步，确定模型：以每个簇的摘要信息，聚类半径阈值r作为模型 (2) 模型评估 利用改进的最近邻分类方法INN(Improved Nearest Neighbor) 评估测试集中的每个对象。INN方法具体描述如下： 对于测试集 中对象p，计算p与每个簇的距离 若 ，则说明p是已知类型的行为，将簇 的标识作为p的标识，否则说明p是一种新的行为，将p标识为可疑对象——候选离群点 。 6.3.3 基于聚类的动态数据的离群点检测方法 （3） (3) 模型更新 对于测试集 中对象p，按照前面聚类的方式，对新增对象进行增量式聚类更新 用建立模型同样的方法对所有簇重新标记其类别。 6.3.3 基于聚类的动态数据的离群点检测 （3） 6.4 离群点挖掘方法的评估 （1） 可以通过下表所示混淆矩阵来描述离群点挖掘方法的检测性能。在离群点检测问题中，并不关注预测正确的normal类对象，重点关注的是正确预测的outlier类对象。 预测类别 outlier normal 实际类别 outlier 预测正确的outlier 预测错误的outlier normal 预测错误的normal 预测正确的normal 离群点检测方法准确性的两个指标 检测率(Detection rate)表示被正确检测的离群点记录数占整个离群点记录数的比例； 误报率(False positive rate)表示正常记录被检测为离群点记录数占整个正常记录数的比例。 期望离群点挖掘方法对离群数据有高的检测率，对正常数据有低的误报率，但两个指标之间会有一些冲突，高的检测率常常会导致高的误报率。也可以采用ROC曲线来显示检测率和误报率之间关系 6.4 离群点挖掘方法的评估 （2） 本章小结 (1) 介绍了离群点概念及离群点挖掘的意义。 (2) 从技术的角度介绍了基于相对密度和基于聚类的离群点挖掘方法，对这几种方法的优劣进行了分析。并通过实例说明了这些离群点检测方法的应用。 作业：P125：6.1，6.2,6.3 */41 * 商务数据挖掘与应用案例分析 第6章 离群点挖掘 6.1 概述 6.2 基于相对密度的离群点检测方法 6.3 基于聚类的离群点检测方法 6.4 离群点检测方法的评估 开篇案例——保险欺诈检验 随着保险业的蓬勃发展，保险欺诈现象也越来越严重。有关统计数据显示，国际上某些险种因被欺诈而导致的赔款支出最高可达保险费收入的50％。从所发生的保险欺诈案例看，手段无所不用且花样翻新，有的虚构或者伪造索赔，