数据仓库_联机分析处理_数据挖掘DataWarehousing_.pptVIP

数据仓库,联机分析处理,数据挖掘Data Warehousing, OLAP, and Data Mining ;数据仓库 : 一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程。 OLAP 与 数据挖掘工具 : 是两种主要的分析工具，提供给决策者对数据进行分析，以针对分析结果做出决策。;数据仓库的引出 1.传统数据库以及OLTP(On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。 2.因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。 3.为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(Data Warehose)。;数据仓库的定义与基本特性;2.数据仓库的重要特性 a) subject-oriented(面向主题性);数据仓库的集成性是指根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，使数据仓库的数据具有集成性。;也就是说，首先要从源数据库中挑选出数据仓库所需要的数据，然后将这些来自不同数据库中的数据按照某一标准进行统一，即将不同数据源中的数据的单位、字长与内容按照数据仓库的要求统一起来，消除源数据中字段的同名异义、异名同义现象，这些工作称为数据的清理(clean)，把数据仓库的数据呈现给用户一个一致统一的视图。;数据仓库的时变性，就是数据应该随着时间的推移而变化。;因此，数据仓库必须能够不断捕捉主题的变化数据，将那些变化的数据追加到数据仓库中去，也就是说在数据仓库中必须不断的生成主题的新快照，以满足决策分析的需要。数据新快照生成的间隔，可以根据快照的生成速度和决策分析的需要而定。;d) non-volatile 数据的非易失性;e) in support of management decisions 支持决策系统;对比内容;尽管OLTP系统和数据仓库有着许多不同的特性且基本构建思想不同，但是他们却是紧密联系的，因为OLTP系统是数据仓库的数据来源。 OLTP系统并不是为了快速回答查询，也不是为了存储分析趋势的历史数据而创建的。一般的，OLTP提供了大量的原始数据，这些数据不易被分析。 数据仓库需要回答更复杂的查询，而不仅仅使一些像“英国主要城市的商品平均销售价格是多少”之类的简单聚集数据查询。 数据仓库需要回答的查询类型可以是简单的查询，也可以是高度复杂的，且还与终端用户使用的查询工具相关。;DreamHome数据仓库的示例支持以下查询:;数据仓库的一个案例; 沃尔玛早年利用NCR数据仓库技术，对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。沃尔玛利用NCR自动数据挖掘工具(模式识别软件)对一年多详细的原始交易数据进行分析和挖掘。一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！沃尔玛就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销售量双双增长。 ;数据仓库的体系结构;操作型数据 加载管理器 : 执行所有与提取和装载数据到数据仓库的有关操作。 仓库管理器 : 执行管理一个数据仓库数据所有的必要程序，它可以由一些外购的数据管理工具和针对特殊需要编写的程序组成。包括以下工作: 1.数据分析以确保一致性 2.将临时存储介质中的数据转换和合并后加载到数据仓库表中 3.为基础表创建索引和视图 4.依据需要，对数据进行弱规范化 5.依据需要，生成聚集信息 6.备份和归档数据 ;查询管理器 : 执行所有数据仓库中与查询工作相关的管理工作。 细节数据 : 数据仓库中存储了许多数据库模式中的细节数据 轻度和高度综合数据 : 数据仓库中存放了许多由 仓库管理器产生的预定义的轻度或高度综合(聚集的)数据。;存储/备份数据 : 数据仓库中存储了用于备份和存档的许多细节和综合数据。尽管综合数据是从细节数据中产生的，但还是有必要备份这些综合数据，因为他们可能已经超过了细节数据的保持期。这些数据要转移到存储档案中，如磁盘或光盘上。;元数据(metadata): 数据仓库中存储了所有的元数据定义，这些定义可用于数据仓库中的所有过程。元数据的用途包括 : 1.数据抽取和加载过程: 元数据可用于将数据影射到数据仓库的通用数据视图中。 2.数据仓库管理过程: 元数据可用于自动产生表。 3.作为查询过程的一部分: 元数据可用于将查询指定到最合适的数据源。;终端用户访问工具 数据仓库的主要目的是为了给业务用户提供决策信息。这些用户通过终端