（教学课件）数据仓库技术.ppt

6.4 数据仓库管理系统中的关键技术 6.4.2 系统结构 数据仓库系统的基础仍是一个数据库管理系统，通过利用一个专门的数据库管理系统，对数据仓库中数据进行存储和维护。数据仓库可以是集中的，也可以是分布的，不同之处在于采用集中式DBMS还是分布式DBMS。 6.4 数据仓库管理系统中的关键技术 6.4.2 系统结构 数据仓库系统多级视图机制。 具体过程分为两级映射： 第一级，数据将从局部数据库中，经过数据翻译、转换并具体化成符合公共模型格式的中间视图，这些具体化模型是临时性的，在生成上层模式后不必保留； 第二级，经过消除语义冲突、数据集成和数据导出处理，将有关的实体化中间视图集成为满足专门应用的集成视图。 6.4 数据仓库管理系统中的关键技术 6.4.3 系统主要模块 1.翻译器 2.监控器 3.集成器 数据翻译工作包括数据结构的翻译和数据类型的翻译 通过检测数据源发生的变化，监视数据仓库与数据源之间的数据误差，或者说数据增量，并报告给上层的集成器。 (1)负责进行数据仓库初始化和目录管理 (2)接收监控器的变化，并将数据源的新变化反映到数据仓库 6.4 数据仓库管理系统中的关键技术 6.4.3 关键技术 优化处理：为了提高数据仓库的效率，需要采用一些专门的优化措施，以节省存储空间、加快响应速度、减少维护费用等。可采用的技术主要有以下3种： (1) 过滤源场地上无关的修改操作。 (2) 可自维护性。 (3) 多视图的优化。 其他问题 (1) 数据仓库的维护管理。 (2) 数据源的演变。 (3) 老化数据。 数据仓库技术 6.1 数据仓库概述 6.2 数据仓库的结构框架 6.3 数据仓库系统及开发过程 6.4 数据仓库管理系统中的关键技术 6.5 可视数据仓库 6.6 SAS数据仓库的结构与功能 6.1 数据仓库概述 6.1.1数据仓库的定义 数据仓库就是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制定过程。 数据仓库是一种解决方案，是对原始的操作数据进行各种处理并转换成有用信息的处理过程，用户可以通过分析这些信息，从而作出策略性的决策。 也把数据仓库系统称为“决策支持系统”。 6.1 数据仓库概述 6.1.2 数据仓库查询系统的特点 数据仓库系统的查询通常都非常复杂，主要有两种查询方式： 一种以报表为主，从数据库中产生各种形式的业务报表，这种查询是预先规划好的（predefined query）； 2. 另一种则是随机的、动态的查询（ad hoc query），对查询的结果也是不能预料的。 因此，系统的可扩展能力是必须考虑的重要因素之一 6.1 数据仓库概述 6.1.3 OLTP与OLAP的特点 OLTP系统也称为生产系统,它是事件驱动、面向应用的。 OLTP的基本特点如下： (1)对响应时间要求非常高；用户数量非常庞大，主要是操作人员； (2)数据库的各种操作基于索引进行。 联机分析处理（online analytical processing,OLAP)是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。OLAP系统是跨部门、面向主题的。 基本特点是： 基础数据来源于生产系统中的操作数据（operation data);响应时间合理;用户数量相对较少，其用户主要是业务决策与管理人员;数据库的各种操作不能完全基于索引进行。 6.1 数据仓库概述 6.1.4 详细数据与小结数据 详细数据中包含了许多有价值的信息，经小结处理后，可能会丢失这些信息。 处理原因： (1)数据仓库的引擎（数据库系统）不适合处理大量的数据 ; (2)降低存储系统投资。在以前，存储介质是非常昂贵的 ; (3)降低MIPS投资 ; 6.1 数据仓库概述 6.1.5 数据仓库与数据集市 数据仓库是企业级的，能为整个企业各个部门的运行提供决策支持手段； 数据集市是部门级的，一般只能为某个局部范围内的管理人员服务。有些供应商也称为“部门级数据仓库”（departmental data warehouse）。 6.1 数据仓库概述 6.1.5 数据仓库与数据集市 数据集市分类： 两种； 独立的数据集市（independent data mart） 从属的数据集市（dependent data mart）。 6.1 数据仓库概述 6.1.6 数据仓库引擎的选择 所谓数据仓库引擎，就是数据库管理系统。从前面的分析可以看到，作为数据仓库引擎的数据库管理系统，其性能的优劣对整个数据仓库解决方案的成功实施起着举足轻重的作用。 衡量其数据库性能的主要指标是TPC-D； 主要有3方面的数据需要考虑。 （1） QppD。 （2） QthD。 （3） QppD。 6.2 数据仓库的