《数据仓库入门》.pdfVIP

DataWarehouseoverview

编辑课件

数据仓库管理的历史时期

l人工管理方式：

l这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于

科学计算，外存只有纸带、磁带、卡片等，数据处理的方式根本上是批处

理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，

每个应用都必须自己完成存储结构、存取方法、输入输入输出等数据管理

功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。

l文件系统管理

l这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信

息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，

在硬件和软件方面都得到了开展，磁盘磁鼓出现，操作系统也产生。这一

时期数据管理的特点主要是：：

l数据保存，数据可以长期保存在磁盘上；

l有操作系统的文件管理系统，文件结构化，数据的物理结构和逻辑结构

有了区别；

l有了存储文件后，数据可以不再仅仅属于某一个应用，而能进行一定程

度的复用。

l但文件系统在数据管理方面存在缺陷，表现在数据冗余度大，数据和程

序之间缺乏独立性，容易造成数据的不一致性。

l数据库系统〔60年代末开始〕

编辑课件

数据仓库的开展的动力

l业务需求驱动

l主要是详细的分析

l科学的经营

l市场活动的细化和实施等

l数据驱动

l数据量不断扩大

l没有数据仓库等相关技术很难全面了解企业

l工程驱动

编辑课件

数据仓库定义

lInmon的定义：

–DataWarehouseisasubject-oriented,integrated,time-

variant,andnonvolatilecollectionofdatainsupportof

management’sdecisionmakingprocess

l数据仓库的特点

–数据仓库的数据是面向主题的

–数据仓库的数据是集成的

–数据仓库的数据是与时间相关的

–数据仓库的数据是稳定的

编辑课件

简单的数据仓库架构

编辑课件

数据仓库实际应用例子

编辑课件

数据集成

l企业全面的经营数据

lOLTP分散在各个不同系统中〔事件独立〕

l银行：卡、储蓄、信贷、会计、中间业务等等系统

lBOSS＋增值业务＋财务

l集成数据

l建立关联

l事件关联〔业务之间是相互关联〕

l客户数据统一

l历史数据

l大量历史数据的保存问题

l中国建设银行一个中等规模的省产生每天的交易详细记

录大约200M

l通常在业务系统中只保存当日数据

l历史数据查询困难编辑课件

数据仓库数据处理流程

业务系统数据/外部数据数据格式检查源数据清洁、抽取、转换

装载数据到DWODS数据抽取、转换装载数据到ODS

DW数据抽取、转换装载到OLAP分析性查询

DW数据生成报表

报表展现

编辑课件

ETL简述

编辑课件

ETL定义

ETL:

E