数据仓库解决方案概述讲述.ppt

Sybase DW/Business Intelligence 议程 数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具 数据仓库定义 数据仓库是完全不同的数据库系统 DW/BI 在电信行业的应用 - How ? 立足于现有的OLTP系统 当前数据和历史数据 集中整合之后，构建一个庞大的数据仓库 面向业务分析和决策层 运用多维分析方法，充分挖掘数据中的信息 应用DW/BI的三步曲  DW/BI 在电信行业的应用 - 小结什么是数据仓库(Data Warehouse) ？ 数据仓库的实际构造示意图 议程 数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具 Sybase数据仓库相关产品的技术构成 Sybase数据仓库相关产品介绍 集成的主要产品 议程 数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具 设计: 成功的关键 数据库的设计对数据仓库系统的整体性能、装载和 建立索引的时间以及数据量的增长等的影响超过 任何其它方面。 数据仓库设计工具WarehouseArchitect 为数据仓库的设计提供三大功能： 多维建模 度量、维、属性 事实表，维表 维层次表，事实层次表 设计向导 聚合（Aggregation Wizard） 分区（Partitioning Wizard） 逆向工程数据源 优化代码生成 目标数据仓库引擎（IQ，RDBMS) OLAP分析环境 设计:WarehouseArchitect 议程 数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具 数据抽取、转换、清洗、集成 挑战 多个、多种异构数据源 硬件，OS，RDBMS，文件 数据不规范，需要做大量的清洗和整合 转换规则复杂，繁多 繁琐的日常性工作，占80%工作量 数据质量保证 数据增量抽取 抽取工作过程化，自动化 数据抽取、转换、清洗、集成 成功的关键 支持多个、多种异构数据源 轻松方便地设计数据的清洗，转换和整合规则 日常事务性工作自动化完成 有完善的数据质量保证体系 有完备的数据增量抽取 直观，面向过程化设计；自动化的执行 开放性，可扩展性，易于实施和维护 数据抽取、转换、清洗、集成 解决的方案 手工编程实现 使用工具设计和实施 PowerMart/PowerCenter 开发环境，一系列工具用于设计、执行和维护 数据的抽取、转换和装载流程 抽取转换引擎(服务器)，自动执行 集成: PowerMart 议程 数据仓库解决方案概述 Sybase数据仓库技术解决方案 数据仓库设计工具 抽取、转换、清洗和装载工具 数据存储、管理服务器 数据分析和展现工具 数据字典（元数据）的管理工具 数据存储、管理 数据管理 解决的方案 通用的关系数据库系统 专门的数据仓库服务器 Sybase IQ 专门为数据仓库/数据集市设计的关系型数据库 专门针对OLAP/DSS而优化的索引和查询处理技术 数据存储： Adaptive Server IQ 无处不索引(Index EVERYWHERE) 数据压缩(通常达到原始数据的 70 - 75%) 垂直存储技术(Vertical Partitioning) 专利的Bit Wise索引技术跨越Bitmap的限制 多种索引类型：FP,LF,HNG,HG 低级数的限制从100扩充到1000 预连接的索引提供额外的显著提高性能手段(Join Index) 支持任意设计模式 星型、雪花、雪暴、星座模式 普通关系模式 支持任意加载方式 文件、内部数据、外部数据库直接加载 开放的接口 传统RDBMS不适合数据仓库 IQ的特殊存储方式-垂直存储（按列存储） IQ的特殊存储方式-垂直存储（按列存储） Example: I/O 的明显减少 IQ的索引特点 索引即是数据 没有索引和数据的分别 任何一列可以建立多个索引 系统保证至少会存在一个索引（FP） 索引的选择和设计主要基于： 数据的级数（离散值的个数） 在查询中的使用方式 和SQL语句的顺序无关 索引的种类 Fast Projection(FP) 数据压缩存储 根据数据的特点会自动使用三种方式中的一种 Low Fast (LF) Bit map 索引 High Non Group (HN