数据挖掘综述-Read.ppt

数据挖掘综述 北京师范大学数学学院 1 数据挖掘技术的由来 1.1 网络技术的高度发展 1.2 数据爆炸但知识贫乏 1.3 支持数据挖掘技术的基础 1.4 从商业数据到商业信息的进化 1.2 数据爆炸但知识贫乏 激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。 目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。 1.3 支持数据挖掘技术的技术基础 海量数据搜集 强大的多处理器计算机 数据挖掘算法 1.4 从商业数据到商业信息的进化 2 数据挖掘的定义 2.1 技术上的定义 2.2 商业角度的定义 2.3 数据挖掘与传统分析方法的区别 2.1数据挖掘在技术上的定义 数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 原始数据可以是结构化，如关系数据库中的数据；也可以是半结构化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。 发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。 发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用于数据自身的维护。 2.2 商业角度定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 2.3 数据挖掘与传统分析方法的区别 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识. 数据挖掘所得到的信息应具有先未知,有效和可实用三个特征. 3 数据挖掘的研究历史和现状 3.1 研究历史 3.2 国内现状 3.3 业界现状 3.4 出版物及工具 3.1 研究历史 3.2 国内现状 1993年国家自然科学基金首次支持我们对该领域的研究项目。目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军装备论证中心等。其中，北京系统工程研究所对模糊方法在知识发现中的应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则开采算法的优化和改造；南京大学、四川联合大学和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及Web数据挖掘。 3.3 业内现状 最近，业内的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。 3.4 出版物及工具 有不少KDD电子出版物，其中以半月刊Knowledge Discovery Nuggets最为权威。在网上还有许多自由论坛，如DM Email Club等。至于DMKD书籍，可以在任意一家计算机书店找到十多本。 目前，世界上比较有影响的典型数据挖掘系统有：SAS公司的Enterprise Miner、IBM公司的Intelligent Miner、SGI公司的SetMiner、SPSS公司的Clementine、Sybase公司的Warehouse Studio、RuleQuest Research公司的See5、还有CoverStory、EXPLORA、Knowledge Discovery Workbench、DBMiner、Quest等。还可以访问.网站，该网站提供了许多数据挖掘系统和工具的性能测试报告。 4. 数据挖掘研究的内容 目前DMKD的主要研究内容包括： 基础理论、发现算法、数据仓库、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、半结构化和非结构化数据中的知识发现以及网上数据挖掘等。 数据挖掘所发现的知识最常见的有以下几类： 4.1 广义知识 (Generalization) 4.2 关联知识 (Association) 4.3 分类知识(Classification Clustering) 4.4 预测型知识(Prediction) 4.5 偏差型知识(Deviation) 4.1 广义知识（Generalization） 广义知识指类别特征的概括性描述知识。根据数据