001数据仓库与数据挖掘技术概述2.ppt

数据仓库与数据挖掘技术概述 数据挖掘 第一讲 绪论 什么是数据挖掘? 数据挖掘的步骤 数据挖掘的主要功能（任务） 概念/类描述：特征化和区分 关联分析 分类和预测 聚类分析 孤立点分析 演变分析 在何种数据上进行数据挖掘（对象） 数据挖掘技术的前景 数据挖掘的案例：“啤酒”和“尿布” 一则广为流传的案例：啤酒和尿布的故事 什么是数据挖掘? 数据挖掘的定义非常模糊，对它的定义取决于定义者的观点和背景。如下是一些DM文献中的定义： 数据挖掘是一个从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 --Fayyad. 数据挖掘是一个从大型数据库中提取以前未知的，可理解的，可执行的信息并用它来进行关键的商业决策的过程。 --Zekulin. 数据挖掘是用在知识发现过程，来辩识存在于数据中的未知关系和模式的一些方法。 --Ferruzza 数据挖掘是发现数据中有益模式的过程。 --Jonn 数据挖掘是我们为那些未知的信息模式而研究大型数据集的一个决策支持过程。 --Parsaye 什么是数据挖掘? 从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程。 非平凡（的过程）：有一定的智能性、自动性（仅仅给出所有数据之和不能算做一个发现过程）。 有效性：所发现的模式对新的数据仍保持一定的可信度。 新颖性：所发现的模式应该是新的。 潜在有用性：所发现的模式将来有实际的效用。 最终可理解性：能被用户理解，如：简洁性 有趣性：有效性、新颖性、潜在有用性、最终可理解性的综合。 数据挖掘: 多个学科的融合 数据挖掘的称谓 数据挖掘涉及多学科领域，有多个术语名称（可能其内容的侧重点略有差异）。 数据挖掘（data mining） 数据库中的知识发现（KDD, knowledge discovery in databases） 知识抽取(knowledge extraction) 信息发现(information discovery) 智能数据分析(intelligent data analysis) 探索式数据分析(exploratory data analysis) 信息收获 (information harvesting) 数据考古(data archeology) ?“数据挖掘”流行于 统计界、数据库、数据分析、管理信息系统界 数据挖掘的步骤 观点：数据挖掘是数据库中的知识发现（KDD）的一个步骤。 ? 粗略理解三部曲： 数据准备（data preparation）、 数据挖掘（data mining） 结果的解释评估（interpretation and evaluation） 数据挖掘的步骤 数据准备? 数据选择：目标数据 数据预处理：消除噪声、不一致、冗余等 数据变换：连续数据离散化、数据转化 数据归约：特征选择或抽取 数据挖掘时，需要 明确任务如数据总结、分类、聚类、关联规则发现、序列模式发现等。 考虑用户的知识需求（得到描述性的知识、预测型的知识）。 根据具体的数据集合，选取有效的挖掘算法。 数据挖掘的步骤 结果的解释评估（interpretation and evaluation） 对挖掘出来的结果（模式），经用户或机器评价，剔除冗余或无关的模式。 模式不满足用户需求时，返回到某一步，重新挖掘。如：重新选择数据、采用新的变换方法、设定新的数据挖掘参数，或者换一种挖掘算法（如分类方法，不同的方法对不同的数据有不同的效果）。 挖掘的结果是面向用户的，对挖掘结果进行可视化或者转化为用户易于理解的形式表示。 ?评注 影响挖掘结果质量的因素：采用的算法、数据本身的质量与数量 数据挖掘的过程是一个不断反馈的过程 可视化在数据挖掘过程的各个阶段都扮演着重要角色，如用散点图或直方图等统计可视化技术来显示有关数据，以期对数据有一个初步的了解。 KDD的一般步骤 传统KDD的一般步骤（细化） 数据清理: (这个可能要占全过程60％的工作量) 数据集成 数据选择 数据变换 数据挖掘（选择适当的算法来找到感兴趣的模式） 模式评估 知识表示 数据挖掘: 数据库中的知识挖掘(KDD) 数据挖掘——知识挖掘的核心 数据挖掘的主要功能 ——可以挖掘哪些模式？ 一般功能 描述性