数据仓库与OLAP复习解读.pptx

数据仓库与OLAP 广东工业大学 艾丹祥 课件下载 adxpublic@126.com 密码public 数据仓库与OLAP复习 数据仓库的四层体系结构化环境(P11) 个体层 临时的数据 为特定目的的 非重复的 用于启发式DSS分析 操作层 可更新的原始数据 日常数据 细节的 当前值 访问频繁 面向应用，服务于OLTP 部门层/数据集市层 导出的汇总数据 服务于OLAP 领域狭隘，用于固定的DSS分析 原子或数据仓库层 不更新的原始数据和部分汇总数据 随时间变化的历史数据 集成的 面向分析主题 J.Jones现在的信用度是多少? J.Jones的信用历史如何? 我们吸引越来越多或越来越少的客户? 我们所分析的客户趋势如何? 数据仓库开发生命周期（P14） 实现数据仓库 集成数据 检验偏差 针对数据编程 设计DSS系统 分析结果 理解需求 收集需求 分析 设计 编程 调试 集成 实现 （需求驱动） （数据驱动） 数据仓库的特点（P21） 数据仓库是一个面向主题的（subject oriented）、集成的（integrate）、非易失的（non-volatile）且随时间变化的（time variant）用来支持管理人员决策的数据集合。 ——《Building the Data Warehouse》 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序反复和一次一步的方式 第1天 了解操作型环境中的应用系统 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序反复和一次一步的方式 第2天 第一个主题域的表开始载入数据，用户开始发现和使用数据仓库。 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序反复和一次一步的方式 第3天 数据仓库中更多的主题开始载入数据，并且随着数据量增大，将吸引更多的用户（包括DSS分析员）。 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序地反复和一次一步的方式 第4天 数据仓库完全载入，各种各样的DSS应用出现。 此时开始出现如此多的用户和处理请求，以致于一些用户进入数据仓库的要求和分析工作被推迟。 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序反复和一次一步的方式 第5天 部门数据库(数据集市，或OLAP)开始兴起，各部门发现通过把数据从数据仓库输入它们自己的部门处理环境，会使它们的处理既便宜又容易。 数据仓库体系的演化过程（第1天到第n天的现象） 数据仓库的建立要采用有序反复和一次一步的方式 第6天 得到部门级数据比获得数据仓库的数据成本更低、更快、更容易。最终用户就放弃了从数据仓库中去取细节数据，转去进行部门处理。 数据仓库体系的演化过程（第1天到第n天的现象）（P27） 数据仓库的建立要采用有序反复和一次一步的方式 第n天 体系结构得到充分发展。生产系统的原始集合中只剩下操作型处理。数据仓库具有丰富的数据，并有一些数据仓库的直接用户和许多部门数据库。因为在部门级上获得处理所需要的数据既容易又便宜，所以大部分DSS分析处理都在部门级进行。 粒度的重要性（P28） 低细节级—高粒度级 例如：一个顾客一个月内通话的综合 高细节级—低粒度级 例如：一个顾客一个月内的所有通话的细节 粒度的深刻地影响存放在数据仓库中的数据量的大小以及数据仓库所能回答的查询类型。 粒度低，数据量大，能回答的问题多 粒度高，数据量小，能回答的问题少，但是灵活 数据仓库的数据模型（P55） 数据建模分为三个层次 高层建模（ERD） 中间层建模（DIS） 底层建模（物理模型） 物理数据模型（P59） 物理数据模型设计需要考虑的各种因素的核心是物理I/O的使用情况 数据仓库设计者的工作是组织好物理数据，以保证执行一次物理I/O能返回最大数量的记录。 数据快照（P67） 客户ID 客户 名称 上下班 往返距离 性别 31421 何小华 3公里 女 31421 何小华 3公里 女 31421 何小华 3公里 女 31421 何小华 3公里 女 31421 何小华 31公里 女 日期 订单 ID 订购 数量 订单 金额 1/7/2005 100 1 798.00 3/2/2005 101 1 27.95 5/7/2006 102 2 320.26 8/21/2006 103 2 129.99 2/21/2007 104 1 19.95 产品 ID 产品 名称 95 a 37 b 87 c 33 d 42 e 在数据仓库系统中，数据之间的关系由数据快照处理 数据仓库数据的直接操作型访问（P77） 直接访问的限制： 忍受长响应时间 请求的数据量小 技术一致 无需数据格式化 数据仓库的间接访问（P81） 由一个程序对数