数据挖掘技术.ppt

1 数据挖掘技术 为什么要数据挖掘？ 数据库技术的演化 什么是数据挖掘？ 在今天，NBA的教练有了他们的新式武器：决策支持下的数据分析。大约20个NBA球队使用了IBM公司开发的数据挖掘软件来优化他们的战术组合。 该软件就因为研究了魔术队队员不同的布阵，在魔术队与迈阿密热队的比赛中找到了获胜的机会。 (1) 系统分析显示魔术队先发阵容中的两个后卫哈德卫和伯兰在前两场中被评为－17分,这意味着他俩在场上，本队输掉的分数比得到的分数多17分。然而，当哈德卫与替补后卫阿姆斯创组合时，魔术队得分为正14分。 (2) 在下一场中，魔术队增加了阿姆斯创的上场时间。此招果然见效：阿姆斯创得了21分，哈德卫得了42分，魔术队以88比79获胜。 零售业 用于识别顾客的购买模式，在顾客的统计特征中发现关联，预测促销活动的反应，进行市场分析。 啤酒和尿布的的关系，我们非常熟悉！ 如在购买面包和黄油的顾客中，有90%的人同时也买了牛奶”：(面包+黄油)→(牛奶)。 银行 洗钱: 发现可疑的货币交易行为 二八定律：意大利经济学家帕累托发现了财富和收益间的关系，潜心研究发现，社会上的大部分财富被少数人占有，从大量具体的事实中挖掘出一个简单而让人不可思议的结论：??? 如果社会上20％的人占有社会80％的财富，那么可以推测，10％的人占有了65％的财富，而5％的人则占有了社会50％的财富。??? 保险 如；保险客户流失性判断 股票预设 预测一支股票的走势几乎是不可能，但是通过相关分析，可以找出一支股票的走势与另一只股票走势的潜在规律，比如数据挖掘曾经得到过这个结论：“如果微软的股票下跌4%，那么IBM的股票将在两周内下跌5%”。 医疗 探求各种疾病之间的相互关系、各种疾病的发展规律，总结各种治疗方案的治疗效果，以及对疾病的诊断、治疗和医学研究是非常有价值和发展前景的。同时，医疗数据是既有文本、 如：预测肝癌患者存活期 专家们通过搜集1990年到2002年间因肝癌死亡的456名患者的各项指标，把患者血液检查结果、症状等详细信息数字化，所涉及的数据达77万种，然后运用数据挖掘分析其相关性。 结果发现，某些数据和肝癌患者的存活期密切相关，如一种“PIVKA”蛋白质异常程度的数值到一定标准以上，90％以上的肝癌患者存活期不到一年。 使用新方法不仅可较准确地预测肝癌患者的存活期，而且有助于选择恰当的治疗方法，来保持或改善那些与存活期密切相关的数值，进而延长患者生命。 一 前言 数据仓库是紧跟internet而上，成为了信息社会中获得企业竞争优势的关键。 据相关咨询公司调查，全球2000家大公司已有90%将internet 网络和数据仓库这两项技术列入了企业的未来计划。 一 前言（续） IBM 公司所推崇的BI (商业智能)，其核心就是数据仓库。 微软从SQL SVRVER7.0以后，将数据仓库功能集成到数据库中，并建立的数据仓库联盟。 ORACLE 公司已经有了自己ORACLE EXPRESS 系列数据仓库产品用来提供决策支持。 一 数据仓库概念的提出 顾名思义，数据仓库就是数据的仓库，它在存放大量数据的同时，又像仓库一样将大量的数据有效的管理起来。数据仓库主要侧重于对海量数据的组织和管理，提供有效的数据访问的手段。 一 数据仓库概念的提出（续） 目前在信息管理方面存在的普遍问题包括： (1) 数据太多，“信息不足”的状况 随着数据库技术的发展，各企业积累并存放了大量的业务数据，但真正能为企业提供辅助决策的信息也太少。 (2) 异构环境的数据源 由于市场竞争激烈，新产品开发周期缩短，如何综合利用分散的、异构环境的数据源，及时得到准确的信息是使企业取得成功的关键。 一 数据仓库概念的提出（续） (3) 事务型处理环境不适宜DSS的应用 事务处理和分析处理的性能特性不同 事务处理：存取操作频率高而每次操作处理的时间短。 分析处理；某个DSS应用程序可能需要连续使用几个小时，从而消耗掉大量的系统资源，将具有如此不同处理性能的两种应用放在一个环境中运行，这种行为是不适当的。 数据集成的问题 在DSS中数据收集得越完整，得到的结果越可靠。 历史数据的问题 事务处理一般只需要当前的数据 而对于DSS而言，历史数据是非常重要的 二 数据仓库的概念 1 什么是数据仓库 随着大型数据库技术的发展及实际应用的需要，数据仓库技术（Data Warehouse，DW）被提出来解决管理决策应用的问题。1996年，《构建数据仓库》