数据挖掘 课件 第三章 数据仓库与数据立方体.pptx

数据仓库与数据立方体

Contents数据仓库背景及定义01数据仓库系统架构02数据立方体03OLAP0405本章小结

数据仓库产生的背景数据的一项重要作用是为管理决策人员提供帮助，通过对数据进行整合、清洗和分析，管理人员能够得到更准确、更全面的信息支持，从而做出更具前瞻性和决策性的选择。一种直接的想法是利用数据库进行统计分析，形成如图3-1所示的自然演化的体系架构。

数据仓库产生的背景自然演化的体系架构主要存在以下缺陷：缺乏统一的数据来源缺乏统一的时间基准数据口径差异数据获取效率低数据集成时间长看懂数据困难以及数据加工速度慢数据仓库概念的提出为了应对这些问题，提出了数据仓库的概念。与“分散式管理”的自然演化体系架构不同，数据仓库是一种“中央集中式管理”的数据架构。这种管理架构会对数据统一进行清洗、整合和建模，使得数据变得更加一致、准确和可信，消除不同数据源之间的口径差异，提高数据一致性和质量。

数据仓库的定义数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。面向主题的(subject-oriented)：数据仓库的构建通常围绕的是一些比较重要的主题而构建，例如产品、客户或销售等。集成的(integrated)：数据仓库中的数据是在对原有分散的数据库进行数据抽取、清理的基础上经过系统加工、汇总和整理得到的时变的(time-variant)：数据仓库可以保存过去的数据，并且可以显示数据随着时间的推移而发生的变化。非易失的(nonvolatile)：数据仓库的非易失性意味着数据在数据仓库中是安全的、不容易丢失的。

数据仓库与数据库之间的区别数据库与数据仓库的区别，在本质上就是在线事务处理(OLTP)和在线分析处理(OLAP)的区别

Contents数据仓库背景及定义01数据仓库系统架构02数据立方体03OLAP0405本章小结

基本架构介绍每个数据仓库系统的核心都有三个主要的组件，分别是：数据来源、提取-加载-转换(ELT)过程以及数据仓库本身。大部分数据仓库系统还有数据应用部分

数据仓库系统分层意义数据仓库系统的分层模式是一种在数据仓库设计中常用的组织模式，通过将数据按照不同的层级进行划分和管理，以实现更高效、更灵活的数据处理和利用。数据仓库系统的分层模式主要具备以下几点作用:分层模式使得数据组织结构更清晰提供数据血缘追踪功能减少重复开发简化复杂的问题减少业务的影响

数据仓库分层介绍从数据仓库的基本架构图中可以看到，数据仓库包含了多个层级，其中每个层级都有着其特定的功能和处理原则。下面依次介绍数据仓库各层级的用途和处理原则原始数据层（OperationalDataStore）是数据仓库中的一个重要组成部分，它用于存储从各个业务系统中提取的、经过简单清洗和整合后的原始数据。原始数据层通常是数据仓库架构中的第一层，也是与业务系统交互的接口。

数据仓库分层介绍数据明细层（DataWarehouseDetail）中的数据是原始数据层数据经过清洗、转换后得到的明细数据，保留了数据加载过程中的全部信息。同时包含了各种维度表和事实表，可以支持复杂的查询和分析需求。此外还保留了历史数据，能够支持时间上的溯源和趋势分析。该层中的数据质量较高，经过清洗、转换、整合等处理，确保数据准确性和一致性。

数据仓库分层介绍数据汇总层（DataWarehouseSummary）通常用于存储经过清洗、转换和集成后的数据。这一层位于数据仓库的核心位置，主要负责将来自数据源的数据进行整合，并提供给决策支持系统和业务智能应用程序使用。

数据仓库分层介绍数据应用层（ApplicationDataStore）是根据业务需要，由数据明细层、数据汇总层数据统计而出的结果，该层旨在为数据分析和报表生成等工作提供高性能的数据查询和访问能力，以支持业务决策和报告需求。该层与数据应用部分结合之后，可以为用户提供灵活的数据查询和分析功能，支持用户通过图表、报表等形式直观地分析数据，使用户能够根据自身需求快速获取所需数据，并进行多维分析、数据挖掘等操作。

Contents数据仓库背景及定义01数据仓库系统架构02数据立方体03OLAP0405本章小结

数据立方体的基本概念数据立方体是一种多维数据集合，通常用于存储和分析数据仓库中的大量数据。它由一个或多个维度和度量组成，维度表示数据的属性或者类别，度量则表示要分析的数据指标。通过将数据按照不同维度组织，可以形成一个多维数据集合，这种数据结构就是数据立方体。

数据立方体的基本概念需要注意的是，尽管人们经常把数据立方体看作三维几何结构，但是在数据仓库中，数据立方体是N维的，而不限于三维。数据立方体主要具备以下特点：1）多维性：数据立方体是一个多维数据集合，可以包含多个维度