数据仓库教程教案.ppt

数据仓库 与 数据挖掘讲座;数据库技术的发展;高级数据库系统 ( 80年代中期—现在 ) -高级数据模型: 扩充关系、面向对象、对象-关系 -面向应用：空间的、时间的、多媒体的、主动的、科学的、知识库 数据仓库和数据挖掘 (80年代后期—现在) -数据仓库和OLAP技术 -数据挖掘和知识发现 基于Web的数据库系统 (90年代—现在) -基于XML的数据库系统 -Web 挖掘; 数据库应用中存在的问题;海量数据要求强有力的数据分析工具; 什么是数据仓库DW ( data warehouse )?;数据仓库的主要特征; (4) 传统数据库使用OLTP联机事务处理方式，进行数据组织时考虑记录每一笔业务的情况； 数据仓库使用OLAP联机分析处理方式，进行数据分析处理，以主题为单位组织数据，例如：供应商、商品、顾客等。 (5) 面向主题的数据组织方式要求将数据组织成主题域，各主题域之间有明确的界限（独立性），在某一主题内的数据应该包括分析处理所要求的一切数据（完备性）。 ; 不更新的 (nonvolatile): （1）访问数据仓库主要是两种方式：数据的插入和查询。修改和删除操作很少 。 （2） DW的数据与操作环境下的应用数据分开存放。因此，数据仓库不需要在操作环境下事务处理、恢复和并发控制等机制。 ;随时间变化的（time-variant): （1）数据仓库记录了从过去某一时间到目前的各个阶段的信息，通过这些信息，可以表明发展历程并对未来的趋势作出定量分析和预测。 （2） DW的数据结构，隐式或显式地包含时间元素；其包含的大量综合数据也与时间相关，例如：月产量。 （3） DW随时间变化不断增加新的数据内容；去掉超过时限（例如：5－10年）的数据。 ; DW概念总结： 数据仓库是一种语义上一致的数据存储体系结构； DW是决策支持数据模型的物理实现，并存放企业战略决策所需信息； DW通过将异种数据源中的数据集成在一起构造而成； 完成各种数据查询、信息分析报告和决策支持。 ;操作型数据库系统与数据仓库的区别 ;数据仓库的数据模型 数据仓库和OLAP通常是基于多维数据模型。 该模型将数据看作数据立方体（data cube）形式。 数据立方体由维??事实来定义；以多维的形式对数据建模和观察。 维是关于一个组织想要记录的透视或实体。 事实是面向某一主题的数据度量，它表示了多个 分析维之间的分析结果。 多维数据模型通常有星型和雪花型两种形式。 ;1. 维 维是人们观察数据的特定角度。例如：时间维是商品销售随时间推移发生的变化；地理维是商品在不同地区的销售分布情况。2. 维的层次 某个维以下存在的对细节的多个描述方面，例如：时间维有年、季度、月、日等不同层次。3. 维成员 维的一个取值是该维的一个成员。;4. 多维数组 一个多维数组可以表示为（维1，维2，维3，…维n, 变量）；例如：（地区、时间、销售渠道、销售额） 5. 数据单元 多维数组的取值是数据单元。例如：（上海，2002年2月，批发，2188）;OLTP和OLAP的主要区别 服务对象： OLTP是面向顾客的，用于办事员、客户和信息技术专业人员的事务和查询处理。 OLAP是面向市场的，用于经理、主管和信息分析人员的数据分析。数据内容：OLTP系统管理当前数据。这种数据太琐碎，难以用于决策。 OLAP系统管理大量历史数据，提供汇总和聚集机制，并在不同的粒度级别上存储和管理信息。数据易于用作中、高层的决策过程。; 数据库设计： OLTP系统采用E-R模型和面向应用的数据库设计。 OLAP系统采用星型或雪花模型和面向主题的数据库设计 视图： OLTP系统主要关注一个企业或部门内部的当前数据，而不涉及历史数据或不同组织的数据。 OLAP系统由于组织的变化常常跨越数据库模式的多个版本。 OLAP系统也处理来自不同组织的信息，由多个数据存储集成的信息。由于数据量巨大，OLAP数据也存放在多个存储介质上。;访问模式： 对OLTP系统的访问主要由短的原子事务组成。这种系统需要并行控制和恢复机制。 对OLAP系统的访问大部分是只读操作(由于大部分数据仓库存放历史数据，而不是当前数据)，尽管许多可能是复杂的查询。 OLTP和OLAP的其他区别: 包括数据库大小、操作的频繁程度、性能度量等。 ;OLTP系统和OLAP系统的比较表; 数据仓库为什么是分离的? 操作型数据库存放了大量数据，为什么不直接在这种数据库上进行联机分析处理，而是另外花费时间和资源去构造一个与之分离