数据仓库3-数据仓库中的数据及组织试卷.ppt

* 通过分析数据库自身的日志来判断变化的数据。 优点：提取的变化数据只局限于日志文件，不需扫描整个数据库。 4）日志文件 * 3.1 数据仓库中的数据组织 3.2 数据仓库中数据的追加 3.3 数据仓库中的元数据 * 3.3数据仓库中的元数据 传统数据库中为了说明数据引入了数据字典的概念。 数据字典是描述数据的数据。 * 3.3.1元数据的定义 元数据：是用来描述数据的数据。它描述和定位数据组件、它们的来源及它们在数据仓库进程中的活动；关于数据和操作的相关描述(输入、计算和输出)。 * 3.3.1元数据的定义 其主要目标是提供数据资源的全面指南，使得数据仓库管理员和开发人员可以方便地了解数据仓库中有什么数据？数据在什么地方？它们来源于哪里，以及数据仓库系统中是如何利用这些数据？如何管理这些数据？ * 与元数据产生、存储有关的工具： 数据抽取工具：完成ETL操作。 前端展现工具：实现把关系表映射成与业务相关的事实表和维表来支持多维业务视图，进行多维分析。 建模工具：提供更高层次的、与特定业务相关的语义。 元数据存储工具：用于将元数据存储在专门的数据库中。 3.3.1元数据的定义 * 3.3.2元数据的分类 元数据可以按多种方式分类： 按用户分类 按功能分类 * 1）按使用元数据的用户分类 按使用元数据的用户分类： 技术元数据：是关于数据仓库系统技术细节的描述数据，是数据仓库开发人员和管理人员需要使用的重要信息。主要包括数据仓库结构的描述等。 业务元数据：从业务角度描述数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层定义，使得不懂计算机技术的业务人员也能够理解数据仓库中的数据。 * 3.按功能分类 按功能分类： 数据源元数据 ETL规则元数据 ODS元数据和DW元数据 报表元数据 接口数据文件格式元数据 商业元数据 1）按使用元数据的用户分类 * 3.3.3元数据管理的标准化 元数据在数据仓库系统中占有十分重要的地位，但是目前工业界的各种数据仓库管理和分析工具却常常使用不同的元数据标准，使得元数据管理、不同系统之间的迁移、数据交换变得困难。 迫切需要建立一种统一的标准，使得不同数据仓库和商务智能系统之间可以相互交换元数据。 从而产生了基于元数据联盟（Meta Data Coalition，MDC）和OMG组织的相关元数据标准。 * 1）MDC的OIM标准 背景 MDC成立于1995年。 致力于建立于厂商无关、不依赖于具体技术的企业元数据管理标准的非营利技术联盟。有150多个会员。 提出了开放信息模型（Open Information Model，OIM）。 1999年7月接受微软的建议，将OIM作为元数据标准。 * 1）MDC的OIM标准 OIM标准的目的 通过公共的元数据信息来支持不同工具和系统之间数据的共享和重用。 它涉及信息系统的各个阶段。 采用UML描述。 * 2）OMG组织的CWM标准 背景 对象管理组织（英文Object Management Group，缩写为OMG），是一个国际协会，开始的目的是为分布式面向对象系统建立标准，现在致力于建立对程序、系统 和 业务流程的建模标准，以及基于模型的标准。 有500多个会员。 提出了公共仓库元模型（Common Warehouse Metamodel，CWM）。 * 2）OMG组织的CWM标准 CWM标准的目的 异构环境下，帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。 * 3）CWM标准与OIM标准之间的关系 CWM专门为数据仓库元数据而制定的一套标准，只限于数据仓库领域。 OIM包括：分析与设计模型、对象与组件、数据库与数据仓库、商业工程、知识管理等5个领域。 目前MDC与OMG组织已经合并，今后所有的工具都将遵循统一的CWM标准。 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 淘宝的数据分析产品两者的区别 补充sqlserver元数据 盖洛普 盖洛普 盖洛普 缺少日志方法 * * 第3讲 数据仓库中的数据及组织 * 数据仓库产生的原因 数据处理的类型 操作型处理（OLTP)：数据的收集、整理、存储、查询和增、删、改操作。 分析型处理(OLAP)：数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析。 * 数据仓库的四个基本特征： 数据仓库的数据是面向主题的（Subject Oriented）； 数据仓库的数据时集成的（In