几种常用异常数据挖掘方法.pdf

第24卷第4期 甘肃联合大学学报(自然科学版) V01．24No．4 of Sciences) Jul．2010 2010年7月 JournalGansuLianheUniversity(Natural 文章编号：1672—691X(2010J04’0068—04 几种常用的异常数据挖掘方法 王晓燕 (it苏省宿迁广播电视大学，江苏宿迁223800) 摘要：主要讨论了常用的异常数据挖掘方法，简要地介绍了异常数据挖掘的定义、功能、方法等，详细的介绍 了使用统计、距离、偏离技术、密度和高维持数据进行异常数据挖掘的方法并分析了其各自的特点． 关键词：异常数据挖掘；异常点数据；方法 中图分类号：TP311．13文献标识码：A (2)使用有效的方法挖掘异常点数据．对数 O引言 据模式的不同定义，以及数据集的构成不同，会导 在数据挖掘的过程中，数据库中可能包含一 致不同类型的异常点数据挖掘，实际应用中根据 些数据对象，它们与数据的一般行为或模型不一 具体情况选择异常数据的挖掘方法． 致，这些数据对象被称为异常点，对异常点的查找 2 常用的异常数据挖掘方法及其特点 过程称为异常数据挖掘，它是数据挖掘技术中的 一种．异常数据挖掘又称孤立点分析、异常检测、 2．1 基于统计的方法 例外挖掘、小事件检测、挖掘极小类、偏差检测等． 利用统计学方法处理异常数据挖掘的问题已 孤立点可能是“脏数据”，也可能是与实际对应的 经有很长的历史了，并有一套完整的理论和方法． 有意义的事件．从知识发现的角度看，在某些应用 统计学的方法对给定的数据集合假设了一个分布 里，那些很少发生的事件往往比经常发生的事件 或者概率模型(例如正态分布)，然后根据模型采 更有趣、也更有研究价值，例外的检测能为我们提 用不一致性检验来确定异常点数据．不一致性检 供比较重要的信息，使我们发现一些真实而又出 验要求事先知道数据集模型参数(如正态分布)， 乎预料的知识．因此，异常数据的检测和分析是一 分布参数(如均值、标准差等)和预期的异常点数 项重要且有意义的研究工作[10]． 目． “不一致性检验是如何进行的?”一个统计学 1异常数据挖掘的简介 的不一致性检验检查两个假设：一个工作假设 异常数据挖掘有着广泛的应用，如欺诈检测， (workinghypothesis)即零假设以及一个替代假 用异常点检测来探测不寻常的信用卡使用或者电 设(alternativehypothesis)即对立假设．工作假设 信服务；预测市场动向；在市场分析中分析客户的 是描述总体性质的一种想法，它认为数据由同一 极低或极高消费异常行为；或者在医疗分析中发 分布模型即H：oi∈F，i—l，2，…n；不一致性检 现对多种治疗方式的不寻常的反应等等．通过对 验验证Q与分布F的数据相比是否显著地大(或 这些数据进行研究，发现不正常的行为和模式，有 者小)．如果没有统计上的显著证据支持拒绝这个 着非常重要的意义． 假设，它就被保留．根据可用的关于数据的知识， 对异常点数据的挖掘可以描述如下：给定一 不同的统计量被提出来