数据仓库与OLAP复习.pptx

数据仓库与OLAP广东工业大学 艾丹祥课件下载mailto:adxpublic@126.comamailto:adxpublic@126.comdxpublic@126.com 密码public数据仓库与OLAP复习数据仓库的四层体系结构化环境(P11)J.Jones现在的信用度是多少? J.Jones的信用历史如何?我们吸引越来越多或越来越少的客户?我们所分析的客户趋势如何?操作层可更新的原始数据日常数据细节的当前值 访问频繁面向应用，服务于OLTP原子或数据仓库层不更新的原始数据和部分汇总数据随时间变化的历史数据集成的面向分析主题部门层/数据集市层导出的汇总数据服务于OLAP领域狭隘，用于固定的DSS分析个体层临时的数据为特定目的的非重复的用于启发式DSS分析数据仓库开发生命周期（P14）（需求驱动）SDLC（数据驱动）CLDS程序程序实现数据仓库集成数据检验偏差针对数据编程设计DSS系统分析结果理解需求收集需求分析设计编程调试集成实现数据仓库的特点（P21）数据仓库是一个面向主题的（subject oriented）、集成的（integrate）、非易失的（non-volatile）且随时间变化的（time variant）用来支持管理人员决策的数据集合。 ——《Building the Data Warehouse》数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序反复和一次一步的方式第1天了解操作型环境中的应用系统数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序反复和一次一步的方式第2天第一个主题域的表开始载入数据，用户开始发现和使用数据仓库。数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序反复和一次一步的方式第3天数据仓库中更多的主题开始载入数据，并且随着数据量增大，将吸引更多的用户（包括DSS分析员）。数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序地反复和一次一步的方式第4天数据仓库完全载入，各种各样的DSS应用出现。此时开始出现如此多的用户和处理请求，以致于一些用户进入数据仓库的要求和分析工作被推迟。数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序反复和一次一步的方式第5天部门数据库(数据集市，或OLAP)开始兴起，各部门发现通过把数据从数据仓库输入它们自己的部门处理环境，会使它们的处理既便宜又容易。数据仓库体系的演化过程（第1天到第n天的现象）数据仓库的建立要采用有序反复和一次一步的方式第6天得到部门级数据比获得数据仓库的数据成本更低、更快、更容易。最终用户就放弃了从数据仓库中去取细节数据，转去进行部门处理。数据仓库体系的演化过程（第1天到第n天的现象）（P27）数据仓库的建立要采用有序反复和一次一步的方式第n天体系结构得到充分发展。生产系统的原始集合中只剩下操作型处理。数据仓库具有丰富的数据，并有一些数据仓库的直接用户和许多部门数据库。因为在部门级上获得处理所需要的数据既容易又便宜，所以大部分DSS分析处理都在部门级进行。粒度的重要性（P28）粒度的深刻地影响存放在数据仓库中的数据量的大小以及数据仓库所能回答的查询类型。粒度低，数据量大，能回答的问题多粒度高，数据量小，能回答的问题少，但是灵活高细节级—低粒度级例如：一个顾客一个月内的所有通话的细节低细节级—高粒度级例如：一个顾客一个月内通话的综合数据仓库的数据模型（P55）数据建模分为三个层次高层建模（ERD）中间层建模（DIS）底层建模（物理模型）物理数据模型（P59）物理数据模型设计需要考虑的各种因素的核心是物理I/O的使用情况数据仓库设计者的工作是组织好物理数据，以保证执行一次物理I/O能返回最大数量的记录。数据快照（P67）在数据仓库系统中，数据之间的关系由数据快照处理日期订单ID订购数量订单金额1/7/20051001798.003/2/2005101127.955/7/20061022320.268/21/20061032129.992/21/2007104119.95客户ID客户名称上下班往返距离性别31421何小华3公里女31421何小华3公里女31421何小华3公里女31421何小华3公里女31421何小华31公里女产品ID产品名称95a37b87c33d42e时间关键字二级数据非关键字的主要数据数据快照数据仓库数据的直接操作型访问（P77）直接访问的限制：忍受长响应时间请求的数据量小技术一致无需数据格式化数据仓库的间接访问（P81）由一个程序对数据仓库进行定期分析,这种分析过程将在联机环境中产生一个小文件（预分析文件），其内容包括了有关企业业务方面的简明信息。这个文件被有效快速地利用，以满足操作型环境中其他处理的需要。海量溢出存