异常点检测算法分析与选择.docx

?/lihaifeng555/article/details/4543752异常点检测算法分析与选择分类：?/lihaifeng555/article/category/577117数据仓库及数据挖掘2009-09-11 17:27?3026人阅读?/lihaifeng555/article/details/4543752评论(0)?javascript:void(0);收藏?/lihaifeng555/article/details/4543752举报/tag/details.html?tag=%e7%ae%97%e6%b3%95算法/tag/details.html?tag=%e6%95%b0%e6%8d%ae%e6%8c%96%e6%8e%98数据挖掘/tag/details.html?tag=%e4%ba%a7%e5%93%81产品/tag/details.html?tag=%e6%95%b0%e6%8d%ae%e5%ba%93数据库/tag/details.html?tag=%e5%b7%a5%e4%bd%9c工作/tag/details.html?tag=%e6%95%b0%e6%8d%ae%e5%88%86%e6%9e%90数据分析目录/lihaifeng555/article/details/4543752(?)/lihaifeng555/article/details/4543752[+]1.1?常见异常点检测算法在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点?(Outlier)?，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘?[28?]?。对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足规则的特例，或者观测结果与模型预测值不一致并随时间的变化的值等等。偏差检测的基本目标是寻找观测结果与参照值之间有意义的差别，主要的偏差技术有聚类、序列异常、最近邻居法、多维数据分析等。除了识别异常数据外，异常数据挖掘还致力于寻找异常数据间隐含模型，用于智能化的分析预测。对于异常数据分析方法的研究是论文的重要内容之一，通过研究异常数据，找到适合出口企业产品质量深入分析和有效监管的方法和策略。1.1.1?基于统计的异常点检测算法从?20?世纪?80?年代起，异常检测问题就在统计学领域里得到广泛研究，通常用户用某个统计分布对数据点进行建模，再以假定的模型，根据点的分布来确定是否异常。许许多多针对不同分布的异常测试?(Discordancy Test)方法发展起来，它们分别适用于不同的情形：①数据分布状况；②数据分布参数是否已知；③异常数据数量；④异常数据类型?(?高于或低于一般抽样值?)?。这方面比较有代表性的有?1967?年?Mikey?，?Dunn Clark?提出的基于“均数漂移”模型的单点诊断量，?1970?年?Gentleman Wilk?提出的群组诊断量，?1972?年?Tietjen Moore?提出的单样本?k?个离群点的统计量?E?k?，?1985?年?Marasinghe?提出的改进的?E?k?统计量?F?k?，?1989?年?Rosner?提出的单样本多个离群检测算法?ESD(Generalized Extreme Studentized Deviate)?方法，?1991?年?Paul Fung?改进了?ESD?方法参数?k?选择的主观性，提出了回归分析的?GESR (Generalized Extreme Studentized DeviateResi2dual)?方法。近年来，多样本的离群检测方法也得到了一定的发展，总的思路是先尽量得到一个不含离群点的“干净集”，然后在此基础上对剩余的其他数据点进行逐步离群检测?[29?]?。目前利用统计学研究异常点数据有了一些新的方法，如通过分析统计数据的散度情况，即数据变异指标，来对数据的总体特征有更进一步的了解，对数据的分布情况有所了解，进而通过数据变异指标来发现数据中的异常点数据。常用的数据变异指标有极差、四分位数间距、均差、标准差、变异系数等等，变异指标的值大表示变异大、散布广；值小表示离差小，较密集。基于统计的方法检测出来的离群点很可能被不同的分布模型检测出来，可以说产生这些离群点的机制可能不唯一，解释离群点的意义时经常发生多义性，这是基于统计方法的一个缺陷。其次，基于统计的方法在很大程度上依赖于待挖掘的数据集是否满足某种概率分布模型，模型的参数、离群点的数目等对基于统计的方法都有非常重要的意义，而确定这些参数通常都比较困难。为克服这一问题，一些人提出对数据集进行分布拟合，但分布拟合存在两个问题：①给出的分布可能不适合任一标准分布。②即使存在