《数据分析与数据挖掘-》课件.ppt

主要内容 数据仓库与数据挖掘简介 数据仓库基本原理与应用 数据挖掘基本原理与应用 一、数据仓库与数据挖掘概述 （一）数据仓库的兴起 （二）数据挖掘的兴起 （三）数据仓库和数据挖掘的结合 （一） 数据仓库的兴起 1 从数据库到数据仓库 2 从OLTP到OLAP （1）数据库:用于事务处理 数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。 数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。 不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。 （2）数据仓库:用于决策分析 数据仓库用于决策分析 数据仓库既保存过去的数据又保存当前的数据 数据仓库的数据是大量数据库的集成 对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大 （３）数据库与数据仓库对比 2 从OLTP到OLAP (1) 联机事物处理（OLTP） (2) 联机分析处理（OLAP） (3) OLTP与OLAP的对比 (1) 联机事物处理（OLTP） 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP应用要求多个查询并行，以便将每个查询分布到一个处理器上。 OLTP的特点在于事务处理量大，但事务处理内容比较简单且重复率高。 OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。 (2) 联机分析处理（OLAP） 决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 关系数据库是二维数据（平面），多维数据库是空间立体数据。 OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 (3) OLTP与OLAP的对比 （二）数据挖掘的兴起 1 从机器学习到数据挖掘 2 数据挖掘含义 3 数据挖掘与OLAP的比较 4 数据挖掘与统计学 1 从机器学习到数据挖掘 学习是人类具有的智能行为，主要在于获取知识。 机器学习是研究使计算机模拟或实现人类的学习行为，即让计算机通过算法自动获取知识。 机器学习是人工智能领域中的重要研究方向。 20世纪60年代开始了机器学习的研究。 (1) 1980年在美国召开了第一届国际机器学习研讨会； 明确了机器学习是人工智能的重要研究方向 (2) 1989年8月于美国底特律市召开的第一届知识发现（KDD）国 际学术会议； 首次提出知识发现概念 (3) 1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议； 首次提出数据挖掘概念 (4) 我国于1987年召开了第一届全国机器学习研讨会。 3 数据挖掘与OLAP的比较 OLAP：多维、多层次分析 OLAP的典型应用，通过商业活动变化的查询发现的问题，经过追踪查询找出问题出现的原因，达到辅助决策的作用。 数据挖掘：发现规律、预测未来 数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。 4 数据挖掘与统计学 统计学与自然、经济、社会都有紧密的关系。 其法则和方法是概率论。 通过对全部对象（总体）进行调查，为制定计划和决策提供依据。 统计学中应用于数据挖掘的内容 常用统计（均值、方差等） 相关分析 回归分析 假设检验 聚类分析 判别分析 主成份分析 统计学与数据挖掘的比较 统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。 数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。 统计学与数据挖掘是有区别的。但是，它们之间是相互补充的。 （三）数据仓库和数据挖掘的结合 1 数据仓库和数据挖掘的区别与联系 2 基于数据仓库的决策支持系统 1 数据仓库和数据挖掘的区别与联系 （1）数据仓库与数据挖掘的区别 （2）数据仓库与数据挖掘的关系 （3）数据仓库中数据挖掘特点 （1） 数据仓库与数据挖掘的区别 数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信息。 数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。数据挖掘的数据源可以是数据仓库，也可以是其它形式（数据文件等） （2）数