第十七章数据仓库与联机处理技术讲述.ppt

An Introduction to Database System 数据仓库的产生 操作型处理（也叫事务处理）：对数据库联机的日常操作，通常是对一个或一组记录的查询和修改 特点：快速响应用户请求，对数据的安全性、完整性以及事务吞吐量要求很高。 分析型处理：对数据的查询和分析操作，通常是对海量的历史数据查询和分析 特点：要访问的数据量非常大，查询和分析的操作十分复杂。 数据仓库技术 为了构建新的分析处理环境而出现的一种数据存储和组织技术 第十七章 数据仓库与联机分析处理技术 17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结 17.1 数据仓库技术 数据仓库技术(续) 数据仓库定义： 是一个用以更好地支持企业（或组织）决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。 本质上和数据库一样，是长期储存在计算机内的、有组织、可共享的数据集合。 数据仓库技术(续) 一、 数据仓库的基本特征 数据仓库的数据是面向主题的； 数据仓库的数据是集成的； 数据仓库的数据是不可更新的； 数据仓库的数据是随时间不断变化的 数据仓库技术(续) 二、 数据仓库中的数据组织 数据仓库技术(续) 三、 数据仓库系统的体系结构 数据仓库技术(续) 数据仓库的后台工具 包括数据抽取、清洗、转换、装载和维护(Maintain)工具。 数据仓库服务器 相当于数据库系统中的DBMS，负责管理数据仓库中数据的存储管理和数据存取，并给OLAP服务器和前台工具提供存取接口(如SQL查询接口) OLAP服务器 透明地为前台工具和用户提供多维数据视图 OLAP服务器则必须考虑物理上这些分析数据的存储问题 前台工具 包括查询报表工具、多维分析工具、数据挖掘工具和分析结果可视化工具等 第十七章 数据仓库与联机分析处理技术 17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结 17.2 联机分析处理技术 OLAP(On-Line Analytical Processing)即联机分析处理，是以海量数据为基础的复杂分析技术 一、多维数据模型 数据分析时用户的数据视图，是面向分析的数据模型，用于给分析人员提供多种观察的视角和面向分析的操作 可用这样来一个多维数组来表示：(维1，维2，…，维n，度量值) 联机分析处理技术(续) 联机分析处理技术(续) 二、多维分析操作 常用的OLAP多维分析操作 切片(slice) 切块(dice) 旋转(pivot) 向上综合(roll-up) 向下钻取(drill-down)等 联机分析处理技术(续) 三、OLAP的实现方式 按照多维数据模型的不同实现方式 MOLAP结构 ROLAP结构 HOLAP结构 OLAP的实现方式(续) MOLAP结构 以多维立方体CUBE来组织数据，以多维数组来存储数据，支持直接对多维数据的各种操作。 多维数据库( Multi-Dimension DataBase，简记为MDDB)。 例如：Arbor公司的Essbase 联机分析处理技术(续) ROLAP结构 用RDBMS或扩展的RDBMS来管理多维数据，用关系的表来组织和存储多维数据 两类表：一类是事实(fact)表，另一类是维表 事实表用来描述和存储多维立方体的度量值及各个维的码值； 维表用来描述维信息。 ROLAP用“星形模式”和“雪片模式”来表示多维数据模型 联机分析处理技术(续) 星形模式（Star Schema）通常由一个中心表(事实表)和一组维表组成 如下图所示的星形模式 联机分析处理技术(续) 雪片模式就是对维表按层次进一步细化后形成的 第十七章 数据仓库与联机分析处理技术 17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结 17.3 数据挖掘技术 一、数据挖掘的概念 概念：数据挖掘是从大量数据中发现并提取隐藏在内的、人们事先不知道的但又可能有用的信息和知识的一种新技术 目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素 数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术 决策支持系统(DSS)跨入了一个新阶段 数据挖掘技术(续) 二、数据挖掘和传统分析方法的区别 本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征 数据挖掘技术(续) 三、数据挖掘的数据源 从数据仓库中来 优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少了清理数据的工作量 缺点：建立数据仓库是一项巨大的工