决策支持系统核心——数据挖_....ppt

决策支持系统的核心——数据挖掘方法与技术 0 决策支持系统（DSS） 1 数据挖掘的基本概念 数据挖掘（DM）的产生背景 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，企业和组织积累的数据越来越多 1 数据挖掘的基本概念 数据挖掘（DM）的产生背景 数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势， 从而出现“数据爆炸但知识贫乏”的现象 1 数据挖掘的基本概念 数据挖掘（DM）的产生背景 大量数据背后隐藏着许多重要的信息，企业和组织的管理决策者希望能够对其进行更高层次的分析。 1 数据挖掘的基本概念 数据挖掘（DM）的产生背景 Gartner Group的一次高级技术调查结果将数据挖掘和人工智能列为“将对未来三到五年内工业产生深远影响的五大关键技术”之首； 世界500强企业中80%都涉足数据挖掘的前瞻性研究。 1 数据挖掘的基本概念 数据挖掘的概念 数据挖掘又称为数据库中的知识发现（Knowledge Discovery from Database, KDD），它是一个从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中抽取挖掘出隐含其中的、事先未知的、有价值的模式或规律等知识的复杂过程，该过程如下图所示。 1 数据挖掘的基本概念 1 数据挖掘的基本概念 数据挖掘的概念 数据挖掘涉及多学科技术的集成：数据库技术，统计学，机器学习，高性能计算，模式识别，神经网络，数据可视化，信息检索，图象与信号处理和空间数据分析。 1 数据挖掘的基本概念 数据挖掘的概念 数据挖掘功能用于指定数据挖掘任务中要找的模式类型。数据挖掘任务一般分两类： 描述式数据挖掘：刻画数据库或数据仓库中数据的一般特性。 预测式数据挖掘：在当前数据上进行推断，以进行预测。 1 数据挖掘的基本概念 数据挖掘的功能 概念描述（Concept description）：利用数据属性中更广义的（属性）内容对其进行归纳和总结 1 数据挖掘的基本概念 数据挖掘的功能 关联分析（Association Analysis）：从给定的数据集中发现频繁出现的项集模式知识 1 数据挖掘的基本概念 数据挖掘的功能 分类（Classification）：找出一组能够描述数据集合典型特征的函数，以便能够识别未知数据的归属或类别，即将未知事例映射到某个离散类别 1 数据挖掘的基本概念 数据挖掘的功能 聚类分析（Clustering Analysis）：根据“各聚集（cluster）之内数据对象的相似度最大化和各聚集之间数据对象相似度最小化”这一原则将数据对象划分为若干组 1 数据挖掘的基本概念 数据挖掘的功能 孤立点分析（Outlier Analysis）：寻找不符合大多数数据对象所构成的规律（模型）的数据对象 1 数据挖掘的基本概念 数据挖掘的功能 演化分析（Evolution Analysis）：对随时间变化的数据对象的变化规律和趋势进行建模描述 1 数据挖掘的基本概念 2 数据挖掘功能——关联规则 关联规则的基本概念 关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。 从大量商业事务记录中发现有趣的关联关系，可以帮助许多商务决策的制定，如分类设计、交叉购物和促销分析等。 2 数据挖掘功能——关联规则 购物篮分析 购物篮分析是关联规则挖掘的最初形式 假定作为某商店经理，你想更加了解你的顾客的购物习惯。例如：“什么商品组或集合顾客多半会在一次购物时同时购买？”。为解答这个问题，可以在商店顾客事务零售数据上运行购物篮分析。 分析的结果可用于市场规划、广告策划和分类设计。 2 数据挖掘功能——关联规则 购物篮分析 若设商店中所有销售商品为一个集合，则每个商品均为一个布尔变量，表示该商品是否被（一个）顾客购买。因此每个购物篮就可以用一个布尔向量表示。 2 数据挖掘功能——关联规则 购物篮分析 分析相应布尔向量，得到反映商品频繁关联或同时购买的购买模式，并可用关联规则的形式表示模式。例如，购买计算机也趋向于同时购买财务管理软件可用以下关联规则表示： 2 数据挖掘功能——关联规则 购物篮分析 关联规则的支持度（support）2% 表示分析中的全部事务的2% 同时购买计算机和财务管理软件。 关联规则的置信度（confidence）60%表示：购买计算机的顾客60% 也购买财务管理软件。 2 数据挖掘功能——关联规则 Apriori算法 Apriori算法是根据有关频繁项集性质的先验知识而命名。该算法使用一种逐层有哪些信誉好的足球投注网站的迭代方法，利用k-项集探索(k+1)-项集。 具体做法：首先找出频繁1-项集的集合，记为L1 ；再用L1找频繁2-项集的