全面认识数据仓库.pdf

全面认识数据仓库

1.前言

注1

随着我行信息科技工作进入后蓝图时代，后线分析系统建设的需求会越来

越高，将在快速响应、高效实施、灵活应变、信息统一、全局分析、深度挖掘、

监管有力、报送及时、降低成本等方面提出更多新的挑战。面对蓝图成功投产后

新的产品体系，如何统一规划全辖数据资源、整合后线产品架构、预备各项技术

预研可能是今后信息科技工作的一个重心。

数据仓库〔DW〕是各行业后线系统进展的一个重要方向，它在克服部门级

注2注3

应用的局限〔数据分隔、重复储备、重复中间加工过程、爱护工作繁琐、资

源重复投入等〕、满足全辖基础数据共享、提供全局分析视角和应用组件、支持

快捷灵活和低成本的开发部署等方面有着不可替代的功能和地位。

数据仓库本身有着不同视角的概念说明，大可涵盖整个企业级应用架构，小

可用心于单纯的数据建模与储备；数据仓库涉及重多相关技术，如ETL、数据模

型设计、多维分析、数据挖掘等；数据仓库建设可能是一个复杂高难的全局性项

目，正确的实施路径、策略、方法与有效的质量治理是项目成败的关键；另外，

数据仓库系统实施后的治理与爱护，也是保证各类后线应用系统长期顺利运行的

重要因素。针对这些数据仓库相关的概念、技术、策略、方法等，可能并不是每

个人都有比较全面的了解。因此有必要对这些做一个系统的介绍，使大伙儿对数

据仓库有一个全面清晰的认识。

2.数据仓库入门介绍

➢应用需求背景

随着联机事务处理〔OLTP〕业务系统的深入应用，企业各类业务数据不断

积存和丰富，越来越需要从大量数据中提取有价值的信息，以辅助决策和指导经

注4

营。治理信息系统〔MIS〕和早期的决策支持系统〔DSS〕要紧是基于传统的

数据库技术和事务处理环境，这种系统结构随着业务系统建设规模的扩大、数据

量的巨增和数据复杂度的提高，已无法满足综合分析型应用的需求，造成数据丰

富而信息贫乏的逆境。

第一，人们逐步认识到，分析处理和事务处理具有极不相同的性质，事务处

理通常是对数据库进行联机的查询和修改操作，每笔交易的响应时刻和数据的安

全完整是关键；而分析型处理往往是对大规模历史数据的批量加工运算，数据的

规范统一和整体时刻窗口是重要关注点。因此直截了当采纳传统数据库技术和使

用事务处理环境来支持分析型系统是不合适和失败的。两类系统的特点比较见表

-1：

事务处理型应用分析处理型应用

专门多用户少量用户

小事务、频率高、时刻短大事务、频率低、时刻长

一次数据操作量小，是小单元的随一次数据操作量大，是大集合的批

机数据操作量数据操作

更新与插入操作都专门频繁更新操作较少，插入操作较多

需要当前的细节的业务数据需要历史的整合的综合数据

响应时刻是关键总的处理时刻是关键

面向应用、事务驱动，数据范畴小面向分析、分析驱动，数据范畴大

表-1

另一方面，企业的各类应用系统是在不同时期通常由各部门或分支机构面向

特定应用建设的，存在着数据平台异构、数据结构和数据标准不统一等问题。传

统的数据库技术和事务处理环境关于实现基于个别业务系统的部门级MIS和初

级DSS系统尚可支持，而对实现全局范畴的离散数据整合和综合信息利用，建

设跨部门的企业级分析应用已无能为力。

➢