IBM的商务智能及CRM+.ppt

* * Warehouse Manager vs. DataStage Warehouse Manager 管理全局的Meta Data 不仅向RDB装载数据，同时向MDB装载数据 提供主机数据的连接和处理 DataStage 提供直观的图形化管理模式 提供散列文件实现高效数据清洗和装载 主要向RDB和文件系统装载数据 提供主机数据的联机和处理 * 数据仓库存储的技术特性 只有量的支持做不到联机分析 有数量同时要有速度 服务器访问特性 访问频率稀疏、但查询复杂性增大 并行处理优势突出 数据库查询特性 查询涉及数据范围广 涉及多表连接、星型模式 计算复杂 传统索引作用有限 检索方式、优化算法需要突破 扩展并行处理服务器：Extended Parallel Server和DB2 EEE 多结点（主机）组成并行处理阵列：针对MPP和Cluster 每个结点运行数据库服务器的 Co-Server 结点间采用不共享策略 (Shared Nothing) 通过数据分割实现并行处理，提供近线性的性能扩展能力 并行数据仓库服务器的工作模式 —— Function Shipping 减少网络流量 降低结点间资源共享和交互 提高并行扩展能力(Scalability) 星型模式(Star-Schema) Fact Table 事务处理数据描述 相应的属性（最低层） Dimension Table 各种属性及其层次 星型模式的规范化 “雪花”型(snowflake) “维” Keys 属性 Facts 地点 Table 时间 Table 产品 Table 客户 Table Many Records... 未专门优化的连接过程 PERIOD jan, ... feb, ... mar, ... SALES jan, pen, east, $100 jan, pen, west, $200 feb, radio, south, $125 mar, watch, east, $225 SALES+PERIOD jan, …, pen, east, $100 jan, …, pen, west, $200 feb, …, radio, south, $125 mar, …, watch, east, $225 PRODUCT radio, ... pen, ... watch, ... SALES+PERIOD +PRODUCT jan, …, pen, …, east, $100 jan, …, pen, …, west, $200 feb, …, radio, …, south, $125 mar, …, watch, …, east, $225 MARKET east, ... west, ... south, ... SALES+PERIOD +PRODUCT+MARKET jan, ..., pen, ..., east, ..., $100 jan, ..., pen, ..., west, ..., $200 feb, ..., radio, ..., south, ..., $125 mar, ..., watch, ..., east, ..., $225 普通数据库的实现方法 * Red Brick 的 Star Join 和 Star Index 多列星型索引的作用 Dimension table A Dimension table B Dimension table C FK A FK B FK C CUST_NO OUTLET_ID PROMO_CODE FKA FKB FKC DATA SA001 GWE PIZA 2UNIT $120 The FACT Table Red Brick的 STARJoin PERIOD jan, ... feb, ... mar, ... PRODUCT radio, ... pen, ... watch, ... MARKET east, ... west, ... south, ... SALES jan, pen, east, $100 jan, pen, west, $200 feb, radio, south, $125 mar, watch, east, $225 SALES+PERIOD +PRODUCT+MARKET jan, ..., pen, ..., east, ..., $100 jan, ..., pen, ..., west, ..., $200 feb, ..., radio, ..., south, ..., $125 mar, ..., watch, ...,