数据仓库与商业智能概述.pptxVIP

数据仓库与商业智能-4-20数据仓库与商业智能概述第1页

主要内容数据仓库起源和发展数据仓库定义和特点数据仓库体系结构数据仓库建设方法商业智能数据仓库与商业智能概述第2页

数据仓库起源和发展数据仓库与商业智能概述第3页

数据管理历史人工管理方式这一时期是在20世纪50年代中期以前，这一阶段计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理方式基本上是批处理。这一时期数据管理特点是：数据不保留；没有专用数据管理软件，每个应用都必须自己完成存放结构、存取方法、输入输出等数据管理功效；一组数据对应一个应用，这使得程序之间可能有重复数据。文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，因为数据存放、检索和维护等需求，使得对应研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。数据库系统（60年代末开始）关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)发展，数据以表格形式而非文件方式存放。数据仓库与商业智能概述第4页

数据库到数据仓库传统数据库环境中以数据库为中心，数据资源组织方式单一；侧重对数据管理，操作型处理（OLTP，联机事务处理），关心是响应时间，数据安全性和完整性；问题：“易进不易出”数据仓库与商业智能概述第5页

数据库到数据仓库数据处理不停有新需求（联机事务、批处理、决议分析）分析型处理（OLAP，联机分析处理）用于管理人员决议分析，经常要访问大量历史数据，而极少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中取得跟企业经营效益紧密相关信息。数据仓库与商业智能概述第6页

数据仓库产生（1）数据集成（2）历史数据应用需求（3）查询性能数据仓库与商业智能概述第7页

数据集成企业全方面经营数据OLTP分散在不一样系统中(关键、信贷、国结)外部数据(市场数据、竞争对手)集成数据建立关联各业务系统之间业务事件联络统一（统一事实、维度）历史数据普通全国股份制商业银行一天交易流水在150W左右通常业务系统只保留当前历史数据查询困难数据仓库与商业智能概述第8页

数据集成数据一致化在很多情况下，大型企业会产生数据不一致情况数据仓库数据要保持一致化和准确性数据综合各种不一样粒度数据集成问题详细粒度中等聚集高层聚集外部数据集成数据仓库与商业智能概述第9页

查询性能提升数据查询效率OLTP系统面向数据维护数据仓库面向数据查询提升查询功效为最主要目标数据仓库与商业智能概述第10页

发展动力业务需求驱动主要是详细分析科学经营市场活动细化和实施等数据驱动数据量不停扩大需要相关技术全方面了解企业结论：以单一数据组织方式进行组织数据库，不能满足新型数据处理多样化要求，数据仓库技术应运而生数据仓库与商业智能概述第11页

数据仓库概念和特征数据仓库与商业智能概述第12页

数据仓库概念数据仓库（EDW，EnterpriseDataWareHouse）数据仓库无非是全部数据集市集合--RalphKimball数据仓库无非是面向主题、集成、不一样时间、稳定数据集合方便支持管理决议--BillInmon数据仓库是一个过程不是一个项目数据仓库与商业智能概述第13页

数据仓库特点面向主题数据所代表业务内容划分，而不是以应用划分集成数据所代表业务内容划分，而不是以应用划分不一样时间数据按照时间组织，并存放在不一样时间切片稳定不允许对数据进行更新，只允许初始加载和查询数据仓库与商业智能概述第14页

数据仓库系统结构数据仓库与商业智能概述第15页

数据仓库结构OperationalDataStoreETL数据源DataWarehouse数据源数据源DataMartDataMartDataMart分析报表可视化数据挖掘ODS(OperationalDataStore):操作型数据存放区域ETL(ExtractTransferLoad):数据抽取转换加载DW(DataWareHouse):数据仓库DM(DataMart):数据集市元数据（MetaData）数据仓库与商业智能概述第16页

数据源各种业务系统RDBMS文件系统如，银行业中，关键系统、信贷系统、国结系统ERP系统数据仓库与商业智能概述第17页

ODS（操作型数据存放区域）是一个数据仓库混合形式，它包含及时、最近、面向主题和集成信息。是数据仓库环境一个组成部分是操作型系统一个集成环境为决议支持系统提供当前详细数据查询功效是面向主题、集成、经常更新详细数据数据仓库与商业智能概述第1