数据仓库系统的理论基础总复习.ppt

* 多维数据库 * MD-OLAP * 主要技术问题 存储空间 数据压缩 空洞处理 数据语义提取 安全管理 * ROLAP * 主要技术问题 速度问题 存储与索引方法 位图索引 联接索引 按列存储 物化视图 物化视图的选择、更新及创建 * 物化视图 物化视图 事先将查询的中间结果计算出来， 作为视图存储在数据库中 实时对视图进行维护更新 * 两者的比较 数据管理 数据存取 适应性 维数变化 数据变化 数据量变化 适应软硬件的能力 * 完 谢谢！ * 数据仓库系统的理论基础和技术 东华大学计算机科学与技术学院 乐嘉锦 2012年4月 * 数据仓库系统的建设背景 计算机管理系统的长期使用 企业规模的不断扩大和计算机管理系统向分布式方向的发展 对企业现状的进一步分析和对未来发展的预测 大量的数据（历史据） 数据分布与多数据源难于进行管理 对企业当前情况的充分认识和对未来发展的预测 数据仓库（模式设计、数据集成） 数据发布、联机分析处理和数据挖掘 * 目录 数据仓库简介 数据仓库系统的创建 联机分析系统（OLAP） * 数据仓库的定义 数据仓库是作为DSS服务基础的分析型数据库，用来存放大容量的只读数据，为制定决策提供所需的信息 数据仓库是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的、面向主题及不可更新的数据集合 面向主题的、集成的、稳定的、用以支持经营管理中的决策制定过程的不同时间的数据集合 * 数据仓库的特征—1 数据仓库是面向主题的 主题是一个在较高层次上将数据归类的标准，每个主题基本对应于一个宏观的分析领域。 业务系统 采购子系统： 订单、订单细则、供应商 销售子系统： 顾客、销售 库存管理子系统： 领料单、进料单、库存、库房 人事管理子系统： 员工、部门 数据仓库系统 商品： 商品固有信息、商品采购信息、商品销售信息、商品库存信息 供应商： 供应商固有信息、供应商品信息 顾客： 顾客固有信息、顾客购物信息 * 数据仓库的特征—2 数据仓库是集成的 操作型数据与适合DSS的分析性数据差别甚大。因此数据在进入数据仓库之前必然要经过加工和集成 数据仓库是稳定的 数据仓库反映的是历史数据的内容，而不是处理联机数据，故极少更新或根本不更新的。 数据仓库是时变的 数据仓库中存储大量的历史数据、当前数据和综合数据等，它们处于永远的发展变化中。 * 数据仓库中的数据 实时数据—包括具体的操作数据 调整数据—经过清理的操作数据 变化数据—表示信息仓库中在一段时间内发生变化的 数据 导出数据—通过聚集、转换和求和生成的数据 元数据—表示数据的数据，包括目录、字典和面向用户的部分信息 * 数据仓库中的数据组织结构 * 数据仓库系统的结构 * 数据仓库系统的结构 * 数据集市 * 数据仓库的设计过程 * 目录 数据仓库简介 数据仓库系统的创建 联机分析系统（OLAP） * 创建数据仓库系统的主要步骤 模式设计 数据抽取、转换与装载（ETL） 开发数据分析与展示工具 * 模式设计 概念模型 主观与客观间的桥梁 最常用的方法是E-R图 利用关系数据库管理系统存储数据仓库中的数据主要有两种形式： 星形模型 雪花模型 * 星型模型 * 雪花模型 * 模式设计 逻辑模型 关系、元组、属性、主码、域、… 粒度 数据仓库中数据的综合程度高低的一个度量 样本数据库 物理模型 合并表、冗余、索引 分割 * 数据抽取 主要任务：从各种数据源获取所需要的数据 多数据源的问题 语义不匹配的问题：本体 半结构化数据的抽取 WEB数据的抽取 多系统同步问题 蜘蛛网问题 * 数据转换 主要任务：解决数据仓库与数据源的不一致 数据模式的转换 数据类型的转换 数据格式和描述方法的转换 主要手段 基于SQL的方法 通过自行开发的系统 数据清洗 常识性错误的发现 重复数据的发现 * 数据装载 全量装载 运行时间 时间间隔 增量数据抽取与装载 时间戳问题 日志 * 主要问题 模式设计上的问题 缺少成熟的数据模型 技术上的问题 缺乏合适的数据转换工具 组织上的问题 加强和业务人员的交流 观念上的问题 对系统带来的效益的认识 * 目录 数据仓库简介 数据仓库系统的创建 联机分析系统（OLAP） * 联机分析处理(OLAP) 背景和定义 基本概念 多维分析的基本分析动作 数据仓库的实现模式 * 背景和基本概念 背景 定义 针对特定问题的联机数据访问和分析 变量 数据的实际意义 维 人们观察数据的特定角度 维的层次 维的细节程度不同的多个描述方法 * 基本概念 维成员 维的一个取值 多维数组 表示为(维1，维2，…，维n，变