数据仓库技术背景详解.ppt

数据仓库技术 比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义被广泛接受，数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 目录 数据仓库定义 数据仓库模型 数据仓库的特点 数据仓库分类 数据仓库工具 元数据 概念的提出 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 数据仓库简介 数据仓路按照特定的方法（ETL）从数据源中提取数据，以特定主题作维度利用特定的算法集成数据，给数据用户提供实时查询，最终集成有效信息供决策者使用。 数据仓库是个过程而不是一个项目，是一个解决方案而不是一个产品。 数据库与数据仓库 数据库：按照数据结构来组织、存储和管理数据的仓库 数据仓库：决策支持系统和联机分析应用数据源的结构化数据环境 数据库与数据仓库 以秒、分钟、甚至小时为计量单位 以秒为单位计量 对响应时间的要求 有的事务可能要访问大量记录 每个事务只访问少量记录 数据访问量 中到低 高 使用频率 简单、适合分析 高度结构化、复杂、适合操作计算 数据结构 静态、不能直接更新、只定时添加 动态变化、按字段更新 数据特性 面向主题域、管理决策分析应用 面向业务操作程序、重复处理 数据目标 历史的、存档的、归纳的、计算的数据 当前值 数据内容 数据仓库 数据库 对比内容 数据仓库模型 报表展示 即席查询 数据分析 数据挖掘 业务模型 多维数据模型 聚合数据 细节数据 其他 文档数据 数据库数据 点击流日记 元 数 据 管 理 ETL 数据 应用 源数 据 数据 仓库 1 2 3 4 高效的数据组织形式 完整的数据体系 清晰的数据分类和分层机制 面向主题 数据集成 相对稳定 记录历史 所有数据的集合，实现各种不同数据的关联并使多维分析 缩短获取信息的时间 信息自动流入数据仓库 还原历史时间点上的状态能，更好的分析历史，预测未来 价值 数据仓库的价值 面向主题 面向应用 采购子系统 销售子系统 人事管理子系统 库房管理子系统 集成 数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同联机系统的数据都和不同的应用逻辑捆绑在一起。需要解决冲突，构造统一的模式 数据仓库中的综合数据不能从原有的数据库系统直接得到。在数据进入数据仓库之前要经过综合与计算 元数据 ETL工具 清洗工具 建模工具 管理员、用户 源数据 查询、报表、挖掘 元数据 以数据集为基础 以数据库为基础 多维数据模型 数据仓库基于多维数据模型，它以数据立方体（cube）的方式查看和组织数据。多维数据模型通常包括以下两个部分： 事实表：记录有关主题的数据，包括各种度量信息 维表：记录了数据的角度 数据立方体 Date Product Country sum sum TV VCR PC 1Qtr 2Qtr 3Qtr 4Qtr U.S.A Canada Mexico sum 580 38 1038 927 Q4 501 30 1023 812 Q3 512 31 952 680 Q2 400 14 825 605 Q1 安全 电话 计算机 家庭娱乐 Item(类型) Time(季度） Location=“Vancouver” 三维方体 all product date country product,date product,country date, country product, date, country 0-D(顶点) 方体 1-D 方体 2-D 方体 3-D(基本) 方体 四维方体 all time item location supplier time,location time,supplier item,location item,supplier location,supplier time,item,supplier time,location,supplier item,location,supplier 1-D方体 2-D 方体 3-D 方体 4-D(基本) 方体 0-D(顶点) cuboid（方体） time, item, location, supplier 数据载入 数据抽取 数据清洗 数据转换 装载 刷新 数据仓库的应用 信息处理 （支持查询，基本的统计分析，并提供多种形式的数据报表，包括交叉表、表、图表等） 分析处理 （对数据仓库中的数据进行多维分析支持基本的OLAP操作，如切片