一种基于数学形态学的离群点检测算法-.doc

目录 第0章 引言 1 0.1 研究目的和意义 1 0.2 研究的内容和思路 1 0.3 论文组织结构 1 第1章 相关技术 3 1.1 数据挖掘概述 3 1.1.1 数据挖掘概念 3 1.1.2 数据挖掘的功能和方法 3 1.1.3 数据挖掘的主要研究问题 5 1.2 离群点检测相关理论和算法 6 1.2.2 基于统计的离群点检测 8 1.2.3 基于距离的离群点检测 9 1.2.4 基于密度的离群点检测 18 1.2.5 基于偏离的离群点检测和基于深度的离群点检测 25 1.3 本章小结 26 第2章 数学形态学图像处理与分析 27 2.1 数学形态学与图像处理概述 27 2.2 二值腐蚀和膨胀 27 2.2.1 腐蚀 27 2.2.2 膨胀 32 2.3 二值开运算和闭运算 36 2.3.1 开运算 36 2.3.2 闭运算 39 2.3.3 开闭运算的滤波性质 40 2.4 像素区域 41 2.5 闭运算的一个实例 42 2.6 本章小结 45 第3章 基于数学形态学的离群点检测算法(ODMM) 47 3.1 实验分析 47 3.1.1 实验1 47 3.1.2 实验2 59 3.1.3 实验3 66 3.2 分析实验结果 73 3.3 基于数学形态学的离群点检测算法(ODMM) 74 3.4 本章小结 77 第4章 ODMM算法分析 79 4.1 ODMM算法的正确性 79 4.2 ODMM算法的精度 80 4.3 ODMM算法的执行时间 80 4.4 ODMM算法的局限性 85 4.5 本章小结 86 第5章 总结及展望 87 附录 88  第0章 引言 0.1 研究目的和意义 下面从两个方面来考虑研究的目的和意义： (1) 离群点研究的意义：一个人的噪声可能是另一个人的信号，因此忽视或降低离群点的存在性都将可能导致重要隐藏信息的丢失，离群点检测问题是数据挖掘中的一个重要任务。 (2) 论文研究的目的和意义：论文首次将数学形态学的方法引入到离群点检测中。论文所提出的算法能正确的、精确的、有效的检测出离群点，具有现实意义，并可在矢量系统中实现，具有实用价值。用户只需要输入感兴趣的数据作为输入即能自动确定出离群点。同时，由于其本质上是并行的，便于并行高速处理，应用于未来的并行空间数据库时更具有优越性。 0.2 研究的内容和思路 1. 论文首先介绍了数据挖掘的理论框架，阐述了目前离群点检测的相关理论、主要算法和优化方法。 2. 详细介绍了与论文相关的数学形态学和图像处理的基本理论和方法，并结合例子分析说明。 3. 从数学形态学的数学理论基础出发，在大量实验的基础上，根据结构元由小到大而引起的变化规律，提出了基于数学形态学的离群点检测算法(ODMM)，该算法运用启发式方法可自动检测出离群点。此外，还对比基于距离的离群点检测方法阐述了该算法具有的优势。 4. 最后通过结合算法分析和实验结果证明其正确性、合理性、精确性、可行性、有效性和局限性。 0.3 论文组织结构 本文共分6章。除本章外，其余部分按以下方式组织： 第1章 系统地研究了数据挖掘和离群点检测的相关理论 第2章 数学形态学图像处理与分析 第3章 从实验中提出基于数学形态学的离群点检测算法(ODMM) 第4章 结合理论和实验对ODMM算法进行分析 第5章 总结并展望  第1章 相关技术 1.1 数据挖掘概述 1.1.1 数据挖掘概念 数据挖掘(Data Mining，简称DM)，或称从数据库中发现知识(Knowledge Discovery in Databases，简称KDD)，定义为“从数据库中发现隐含的、先前不知道的、潜在有用的信息”，或者“从大量数据中发现正确的、新颖的、潜在有用并能够被理解的知识过程”[1]。KDD侧重于目的和结果，DM侧重于处理过程和方法，研究者们经常把它们等同起来，或放在一起使用。DM和KDD的定义还有一些不同的表达形式，但其本质是一样的，即从数据库中提取隐含的、感兴趣的、高水平的模式。 随着计算机信息处理技术的进步，数据和数据库急剧膨胀，而数据库中隐藏的丰富的知识远远没有得到的充分的发掘和利用，数据库急剧增长与人们对数据库处理和理解的困难之间形成了强烈的反差。DM和KDD技术就是在这种状况下应运而生的，也是人工智能、机器学习技术发展的结果，其目的是为数据库理解与应用提供自动化、智能化的手段。 DM和KDD是多学科和多种技术交叉综合的新领域，它综合了机器学习、数据库、专家系统、模式识别、统计、管理信息系统、基于知识的系统、可视化等领域的有关技术，因而数据挖掘与知识发现方法是丰富多彩的。研究者们从不同的角度研究KDD，提出了不同理论框架，例如证据理论(Evidence Theory)、Rough集理论(Rough Sets T