IRM第09讲.ppt

* * * * * 9.2.数据挖掘技术 9.2.1 聚类分析 9.2.2 关联分析 9.2.3 分类发现 一、分类发现的含义 分类发现的目的是构造一个分类函数或分类模型（也称作分类器），通过分类函数，把数据库中的元组映射到给定类别中的某一个，即要发现一些指定的商品或事件是否属于某一特定数据子集的规则。 二、分类和聚类的差别 分类是“分”而成类，由有形的整体对象分解为若干部分或分支； 聚类是“聚”而生类，从大量联系不明显甚至表面无联系的文献或数据中产生相关的群或集。 9.2.3 分类发现 三、分类发现的处理过程 9.2.3 分类发现 分类模型的建立 该阶段也称监督学习，数据类别是事先已知的，需要做的工作是通过分析训练样本数据总结出一般性的分类规则，建立分类模型。 分类模型的应用 应用分类模型前，需要对建立的模型进行评估，在确保分类模型的准确性及精确度的情况下，才能运用该分类模型对未知其类别的数据样本进行分类处理。 第一阶段 第二阶段 四、决策树（Decision Tree） 9.2.3 分类发现 决策树是一种有指导学习的数据挖掘方法 决策树的组成 决策节点、分支、叶子 ———根节点 分支 ———叶子 Debt10% of Income Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Income$40K 节点 决策树的分支过程就是对数据进行分类的过程，利用几个变量（每个变量对应一个问题）来判断数据所属的类别。在分支后，要使不同分支之间数据的差异尽可能大、同一分支内的数据尽量相同。这一分割过程也就是数据的“纯化”过程。 决策表与决策树 9.2.3 分类发现 患者代码 嗓子痛 发烧 淋巴肿 充血 头痛 诊断结果 1 Yes yes Yes Yes Yes 咽炎 2 No No No Yes Yes 敏感症 3 Yes Yes No Yes No 感冒 4 Yes No Yes No No 咽炎 5 No Yes No Yes No 感冒 6 No No No Yes No 敏感症 7 No No Yes No No 咽炎 8 Yes No No Yes Yes 敏感症 9 No Yes No Yes Yes 感冒 10 yes Yes no Yes Yes 感冒 淋巴肿 发 烧 No No Yes Yes 敏感症 敏感症 咽炎 No Yes 头 痛 淋巴肿 感冒 发 烧 淋巴肿 No Yes 咽炎 No Yes 决策树的属性选取 属性选取标准： 最大化反映数据差异，使树的层次和节点数最小 9.2.3 分类发现 患者代码 嗓子痛 发烧 淋巴肿 充血 头痛 诊断结果 1 Yes yes Yes Yes Yes 咽炎 2 No No No Yes Yes 敏感症 3 Yes Yes No Yes No 感冒 4 Yes No Yes No No 咽炎 5 No Yes No Yes No 感冒 6 No No No Yes No 敏感症 7 No No Yes No No 咽炎 8 Yes No No Yes Yes 敏感症 9 No Yes No Yes Yes 感冒 10 yes Yes no Yes Yes 感冒 决策树的属性选取 属性选取标准： 最大化反映数据差异，使树的层次和节点数最小 淋巴肿 发 烧 No No Yes Yes 咽炎 敏感症 感冒 内容提要 9.1. 数据挖掘概念 9.2. 数据挖掘技术 9.3. 数据挖掘应用 一、数据挖掘应用架构 MIS ERP CRM E_Business DW 数据仓库 数据挖掘 算法库 模型库 组件库 产品推荐 客户细分 客户流失 客户利润 客户响应 … 行业应用 知识 应用服务器 信息系统 行业分析 数据挖掘应用平台 9.3.数据挖掘应用 9.3.数据挖掘的应用 二、数据挖掘的一般步骤 数据库 数据清理 数据集成 数据仓库 任务相关数据 选择 数据挖掘 模式评估 商业知识 9.3.数据挖掘的应用 二、数据挖掘的步骤 观点：数据挖掘是数据库中知识发现（KDD）的一个步骤。 粗略理解三部曲： 数据准备（data preparation）； 数据挖掘（data mining）；——指挖掘的算法 结果的解释评估（interpretation and evaluation） 9.3.数据挖掘的应用 二、数据挖掘的步骤 1、数据准备? 数据选择：目标数据 数据预处理：消除噪声、不一致、冗余等 数据变换：连续数据离散化、数据转化 数据归约：特征选择或抽取 2、数据挖掘算法的选择 首先要