03.数据仓库原理.ppt

数据挖掘 陈靖宇 广东工业大学 2007 第二讲 数据仓库原理 2.1 数据仓库概述 1. 蜘蛛网问题 2. 什么是数据仓库 3. 数据库系统与数据仓库的区别 决策支持系统的演化---- 60年代 = 磁带存储 决策支持系统的演化---- 70年代 = 磁盘存储 决策支持系统的演化---- 80年代 = 抽取程序 抽取处理带来的利与弊 蜘蛛网问题----“自然演化体系结构” 问题 自然演化体系结构的问题 数据可信性。 生产率。 数据转化为信息的不可行性。 在自然演化体系结构中缺乏数据可信性 在自然演化体系结构中生产率问题 定位报表需要的数据并分析数据。 为报表编辑数据。 为完成以上工作，召集程序员/分析员。 在自然演化体系结构中----数据变信息的可行性 方法的变迁 自然演化体系结构的存在方式(今天大多数商场采取这种模式)确实不足以满足明天的需要。 体系结构需要转变，体系化的数据仓库环境应该在变化了的体系结构上建造。 体系结构设计环境的核心是意识到存在着两种基本数据：原始数据和导出数据。 体系结构设计环境 体系结构设计环境的层次 数据操作层只保存原始数据并且服务于高性能事务处理领域。 数据仓库层存储不更新的原始数据，此外一些导出数据也在此存放。 部门层几乎只存放导出数据。 数据个体层中完成大多数启发式分析。 四层体系与蜘蛛网相比谁的数据冗余更多呢？ 一个简单实例 集成 用户是谁 传统的系统开发生命周期怎么样的？ 开发生命周期 传统的系统开发生命周期支持操作型环境。数据仓库运行于一个与之完全不同的生命周期下，有时称为C L D S (与S D L C顺序相反)。传统的S D L C是需求驱动的。 为建立系统，你必须首先理解需求，然后进入到设计和开发阶段。 C L D S几乎刚好相反。C L D S由数据开始，一旦数据到手就集成数据。然后，如果数据有偏差，就检验看看数据存在什么偏差。再针对数据写程序，分析程序执行结果。最后，系统需求才得到了理解。 C L D S是典型的数据驱动开发生命周期； S D L C是典型的需求驱动开发生命周期； 试图采用不适当的开发工具和技术只会导致浪费和混乱。 比如， C A S E领域是由需求驱动分析所支配的。试图将C A S E工具和技术用于数据仓库领域是不明智的，反之亦然。 硬件利用模式 左图显示操作型处理的典型的硬件利用模式。在操作型处理中有波峰和波谷，但总归存在相当稳定的利用模式。 数据仓库环境中具有根本不同的硬件利用模式 (如图的右部所示)，即利用的二元模式。要么利用全部硬件，要么根本不用硬件。估算数据仓库环境中的硬件平均利用率是没有意义的。 这种根本区别也表明同时在同一台机器上把两种环境混在一起为什么不可行。 要么针对操作型处理优化机器，要么针对数据仓库处理优化机器。但是你不可能同时在同一台设备上两者都作到。 建立重建工程的舞台 第一个影响 生产环境更易于纠错。 生产环境更易于重构。 生产环境更易于监控。 生产环境更易于索引。 第二个影响 更小。 更简单。 更集中。 监控数据仓库环境 识别发生了什么增长，增长发生在什么地方，增长以什么速率发生 识别正在使用什么数据。 估算最终用户得到的响应时间。 确定谁在实际使用数据仓库。 说明正在使用数据仓库中的多少数据。 精确指出数据仓库何时被使用。 识别数据仓库的多少数据被使用。 检查使用数据仓库的层次。 操作型环境和数据仓库环境之间的还有另一个主要差别，即在各自环境中硬件利用模式也不同，如图所示。 从生产环境转变到体系结构设计的数据仓库环境过程中产生一些有益的影响，尽管它不是直接的。 在生产环境中发生一种转变。第一个影响是从生产环境中移走大量数据——大部分是档案数据。移走大量数据在许多方面具有好的效果，包括如下几条： 简言之，仅仅是移走可观数目的数据就可使生产环境更具有可塑性。 从生产环境中移走信息性处理。 信息性处理采取报表、屏幕显示、抽取等形式。信息处理的特点是不停地变化。商业形势变化、机构变化、管理变化、财务状况变化，等等。这些变化中的任何一个都对综合与信息性处理产生影响。 当信息性处理处在生产传统环境中时，维护起来无休无止。事实上，在生产环境中，大多数所谓的维护就是贯穿于正常的信息变化周期中的信息性处理。通过把大多数信息性处理移到数据仓库中，生产环境中的维护负担将大大减轻。 从生产环境中移走不需要的数据和信息型需求—建造数据仓库的效果 一旦生产环境经历转变到以数据仓库为中心的体系结构设计环境的变化，生产环境就正好适合于重建工程。因为此时生产环境： 总之，一个