BI技术介绍课件.ppt

* BI系统数据ETL处理流程说明 业务系统 接口层(DI) 仓库层(DW) 融合层(DB) 一级集市 多维表(OM\DM) 固定表(TM\TD) CUBE 前端展现 应用层(DA) 示例 * 目 录 数据仓库 OLAP ETL与数据质量 * 数据质量—产生原因 部分数据入口不唯一 部分数据来源并不唯一可信 存在一定量的脏数据 各系统中数据对应规则不统一 不同系统间数据不一致 不同系统相同业务规则不统一 业务的多样性＋管理的灵活性＝数据的多样性。 * ETL过程中的数据质量放大效应 * 建立完善的数据管控制度 合理的组织架构 有效的管理流程 完善的考核机制 清晰的数据质量要求 细致全面的业务规则定义 质量管控五个重点 可信的数据，才能产生可信的结果。 90%×90%×90%×90%×90%=59% * 建立完善的数据稽核方法 对于ETL过程中产生的质量问题，必须有技术核查保障手段 * 数据稽核工作日常化 * QA * * * * ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化，比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。 MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构，从物理层实现起，因此又称为物理OLAP（PhysicalOLAP）；而ROLAP主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟OLAP（VirtualOLAP）。 由于MOLAP和ROLAP有着各自的优点和缺点,且它们的结构迥然不同，这给分析人员设计OLAP结构提出了难题。为此一个新的OLAP结构——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止，对HOLAP还没有一个正式的定义。但很明显，HOLAP结构不应该是MOLAP与ROLAP结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。 * ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对OLAP服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作ROLAP存储器的RDBMS也针对OLAP作相应的优化，比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL的OLAP扩展(cube,rollup)等等。 MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。由于MOLAP采用了新的存储结构，从物理层实现起，因此又称为物理OLAP（PhysicalOLAP）；而ROLAP主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟OLAP（VirtualOLAP）。 由于MOLAP和ROLAP有着各自的优点和缺点,且它们的结构迥然不同，这给分析人员设计OLAP结构提出了难题。为此一个新的OLAP结构——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP两种结构的优点结合起来。迄今为止，对HOLAP还没有一个正式的定义。但很明显，HOLAP结构不应该是MOLAP与ROLAP结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。 * * BI技术介绍 郭春选2010-3-31 * 目 录 数据仓库 OLAP ETL与数据质量 * 什么是数据仓库 “数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.”—W. H. Inmon 数据仓库的数据是面向主题：典型的主题领域：客户；产品；交易；帐目 数据仓库的数据是集成的：异构数据、数据提取、净化、转换、装载、编码统一 数据仓库的数据是不可更新的：数据仓库的数据通常是一起载入和访问的，但并不进行一般意义上的数据更新 数据仓库的数据是随时间