数据仓库系统结构模型.ppt

数据仓库 / DM 螺旋式方式 性能优化3：表优化-合并表 ? 合并表 ? ? 例行分析处理时，相关的表存储时放到一起，可大大减少磁 头定位时间，提高I/O效率。（与DBMS管理数据 同） 这种将多个表中相互关联的记录相邻存储的方式称为合并表 性能优化3：表优化-数据序列 ? 数据序列 ? 把经常按照某一序列访问并处理的一组表存储在一 起可减少I/O次数 性能优化3：表优化-引入冗余 ? ? ? ? ? 数据分析处理的数据是广泛的，数据源中的数据可能在多个地 方出现，如有些表的属性不经常发生变化，可以将某些属性复 制到多个主题中。 与合并表不同，合并表没有增加冗余，引入冗余的方法改变了 表的关联模式，出现了冗余的属性。 由于存在事务处理，操作型数据中不适合引入冗余，否则会导 致数据的不一致性；而数据仓库中不存在事务管理的问题，因 此可以采用引入冗余的技术。 但是，数据仓库的中冗余仍然要保证数据的一致性，好在数据 仓库的数据是稳定的，维护代价很低。 增加冗余，减少连接，提高效率 性能优化3：表优化-利用导出数据 ? ? 有些汇总计算所得数据可以进行物化处理，这种数据 为导出数据。 导出数据的利用可以节省计算代价而提高效率，同时 可以建立的公共数据源，避免不同用户重复计算可能 产生偏差（避免数据不一致）。 讨论：规范化/反规范化 ? ? ? ? 规范化是OLTP系统中为避免数据不一致（解决数据 依赖，更新异常）和减少冗余的一种重要技术。 而在数据仓库中，上述引入冗余、利用导出数据等方 法技术已经明目张胆地违反OLTP系统中规范化的原 则，但并没有产生数据不一致的问题。 原因：数据仓库中没有更新操作，所以不会引起更新 异常问题。 因此，在数据仓库设计中，为提高效率，可以违反规 范化的原则。 性能优化3：表优化-建立广义索引 ? ? 思想：常用的数据建索引，具体内容略。 参考 低级模型 索引策略。 小结 ? ? ? 数据仓库系统的性能优化方法很多，可以借鉴数据库 系统的优化方法。 上述为常见的优化方法，其中，粒度、分区、冗余等 方法在实际中应用广泛，这些方法应用有交叉，需综 合应用才会达到较好的优化效果。 另外，需要针对具体的系统和应用情况而制定优化策 略。 The companies who have deployed OLAP most successfully have not one or two but tens of OLAP applications. Each OLAP application is designed to solve a particular business need. Corporations must recognize the breadth of business processes that can be supported and enhanced by OLAP - across all four categories of the management cycle. This is a great time to talk about your local customers who have deployed a wide range of applications Must have these elements as high level components of any 数据仓库 / DM 特定方法论. Make a loop, if there is political will for more, then expand 范围界定, take another trip around the spiral. Repeat. 讨论：DIS能直接实现吗？ ? ? ? ? Inmon的设计模型没有探讨DIS是如何过渡到低级模 型的，中间似乎缺了一个重要的环节。 这个环节是：关系表。 关系表在原设计模型中没有深入讨论，遗憾！DIS仍 然处于概念模型阶段，无非是细化了，低级模型则直 接实现了，关系表在哪里设计的？缺憾！应该放在中 间模型比较合适。 补充：DIS 到 关系表 的映射，参考ER模型到关系 模型的转化。有了关系表，具体实现（低级模型）就 没有问题。 了解：低级模型-存储结构 ? 分布式存储 ?