数据仓库、联机分析处理、数据挖掘DataWarehousing、.pptVIP

数据仓库,联机分析处理,数据挖掘Data Warehousing, OLAP, and Data Mining 数据仓库 : 一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程。 OLAP 与 数据挖掘工具 : 是两种主要的分析工具，提供给决策者对数据进行分析，以针对分析结果做出决策。 数据仓库的引出 1.传统数据库以及OLTP(On-Line Transaction Processing 联机事务处理)在日常的管理事务处理中获得了巨大的成功，但是对管理人员的决策分析要求却无法满足。 2.因为，管理人员常常希望能够通过对组织中的大量数据进行分析，了解业务的的发展趋势。而传统数据库只保留了当前的业务处理信息，缺乏决策分析所需要的大量的历史信息。 3.为满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境——数据仓库(Data Warehose)。 数据仓库的定义与基本特性 1. 数据仓库的定义 William H.Inmon在1993年所写的论著《Building the DataWarehouse》首先系统地阐述了关于数据仓库的思想、理论，为数据仓库的发展奠定了历史基石。文中他将数据仓库定义为: a data warehouse is a subject-oriented, integrated, non-volatile, time-variant collection of data in support of management decisions. 一个面向主题的、集成的、非易失性的、随时间变化的数据的集合，以用于支持管理层决策过程。 2.数据仓库的重要特性 a) subject-oriented(面向主题性) b) integrated (数据集成性) 数据仓库的集成性是指根据决策分析的要求，将分散于各处的源数据进行抽取、筛选、清理、综合等工作，使数据仓库的数据具有集成性。 也就是说，首先要从源数据库中挑选出数据仓库所需要的数据，然后将这些来自不同数据库中的数据按照某一标准进行统一，即将不同数据源中的数据的单位、字长与内容按照数据仓库的要求统一起来，消除源数据中字段的同名异义、异名同义现象，这些工作称为数据的清理(clean)，把数据仓库的数据呈现给用户一个一致统一的视图。 数据仓库的时变性，就是数据应该随着时间的推移而变化。 因此，数据仓库必须能够不断捕捉主题的变化数据，将那些变化的数据追加到数据仓库中去，也就是说在数据仓库中必须不断的生成主题的新快照，以满足决策分析的需要。数据新快照生成的间隔，可以根据快照的生成速度和决策分析的需要而定。 d) non-volatile 数据的非易失性 数据仓库的非易失性是指数据仓库的数据不进行更新处理，而是一旦数据进入数据仓库以后，就会保持一个相当长的时间。因为数据仓库中数据大多表示过去某一时刻的数据，主要用于查询、分析，不像业务系统中的数据库那样，要经常进行修改、添加，除非数据仓库中的数据是错误的。 e) in support of management decisions 支持决策系统 数据仓库的组织的根本目的在于对决策的支持。高层的企业决策者、中层的管理者和基层的业务处理者等不同层次的管理人员均可以利用数据仓库进行决策分析，提高管理决策的质量。 企业管理人员可以利用数据仓库进行各种管理决策的分析，利用自己所特有的、敏锐的商业洞察力和业务知识从貌似平淡的数据发现众多的商机。数据仓库为管理者利用数据进行管理决策分析提供了极大的便利。 尽管OLTP系统和数据仓库有着许多不同的特性且基本构建思想不同，但是他们却是紧密联系的，因为OLTP系统是数据仓库的数据来源。 OLTP系统并不是为了快速回答查询，也不是为了存储分析趋势的历史数据而创建的。一般的，OLTP提供了大量的原始数据，这些数据不易被分析。 数据仓库需要回答更复杂的查询，而不仅仅使一些像“英国主要城市的商品平均销售价格是多少”之类的简单聚集数据查询。 数据仓库需要回答的查询类型可以是简单的查询，也可以是高度复杂的，且还与终端用户使用的查询工具相关。 DreamHome数据仓库的示例支持以下查询: 数据仓库的一个案例 啤酒与尿布的故事 沃尔玛早年利用NCR数据仓库技术，对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。沃尔玛利用NCR自动数据挖掘工具(模式识别软件)对一年多详细的原始交易数据进行分析和挖掘。一个意外的发现就是：跟尿布一起购买最多的商品竟是啤酒！沃尔玛就在它的一个个商店里将它们并排摆放在一起，结果是尿布与啤酒的销售量双双增长。 数据仓库的体系结构 图示: datawarehous