数据仓库和商业智能讲述.ppt

数据仓库与商业智能 主要内容 数据仓库的起源和发展 数据仓库定义和特点 数据仓库体系结构 数据仓库建设方法 商业智能 数据管理的历史 人工管理方式 这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式基本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。 文件系统管理 这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。 数据库系统（60年代末开始） 关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)的发展，数据以表格的形式而非文件方式存储。 数据库到数据仓库 传统的数据库环境中 以数据库为中心，数据资源组织方式单一； 侧重对数据的管理，操作型处理（OLTP，联机事务处理），关心的是响应时间，数据的安全性和完整性； 问题：“易进不易出” 数据库到数据仓库 数据处理不断有新需求（联机事务、批处理、决策分析） 分析型处理（OLAP，联机分析处理） 用于管理人员的决策分析，经常要访问大量的历史数据，而很少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。 数据仓库的产生 （1）数据集成 （2）历史数据的应用需求 （3）查询性能 数据集成 企业全面的经营数据 OLTP分散在不同系统中(核心、信贷、国结) 外部数据(市场数据、竞争对手) 集成的数据 建立关联的 各业务系统之间的业务事件联系 统一的（统一的事实、维度） 历史的数据 一般的全国股份制商业银行一天的交易流水在150W左右 通常业务系统只保留当前的 历史数据查询困难 数据集成 数据一致化 在很多情况下，大型企业会产生数据不一致情况 数据仓库的数据要保持一致化和准确性 数据综合 各种不同粒度的数据的集成问题 详细粒度 中等聚集 高层聚集 外部数据集成 查询性能 提高数据的查询效率 OLTP系统面向数据维护 数据仓库面向数据查询 提高查询功能为最主要目标 发展的动力 业务需求驱动 主要是详细的分析 科学的经营 市场活动的细化和实施等 数据驱动 数据量不断扩大 需要相关技术全面了解企业 结论：以单一的数据组织方式进行组织的数据库，不能满足新型的数据处理多样化的要求，数据仓库技术应运而生 数据仓库的概念 数据仓库（EDW，Enterprise Data WareHouse） 数据仓库无非是所有数据集市的集合 --Ralph Kimball 数据仓库无非是面向主题的、集成的、不同时间的、稳定的数据集合以便支持管理决策 --Bill Inmon 数据仓库是一个过程不是一个项目 数据仓库的特点 面向主题 数据所代表的业务内容划分，而不是以应用划分 集成的 数据所代表的业务内容划分，而不是以应用划分 不同时间的 数据按照时间组织，并存储在不同的时间切片 稳定的 不允许对数据进行更新，只允许初始加载和查询 数据仓库结构 数据源 各种业务系统 RDBMS 文件系统 如，银行业中，核心系统、信贷系统、国结系统 ERP系统 ODS（操作型数据存储区域） 是一种数据仓库的混合形式，它包含及时的、最近的、面向主题的和集成的信息。 是数据仓库环境的一个组成部分 是操作型系统的一个集成环境 为决策支持系统提供当前详细数据的查询功能 是面向主题的、集成的、经常更新的详细数据 ETL（抽取 转换 加载） 数据仓库数据是面向主题的，而业务数据库总是围绕一个或几个业务处理流程，因此到数据仓库的过程需要十分复杂的数据整合过程。 数据抽取 数据转换（一致化） 数据加载 作业控制 数据仓库 数据模型－多维数据模型 粒度划分（分割、汇总） 数据集市 数据集市是数据仓库的子集。如果数据仓库是整个企业组织的所有主题数据存储区，那么数据集市就是某一个主题数据的存储领域。 数据集市即是数据仓库的一种实现，也是实现数据仓库的重要过程，同时提供了分布式数据仓库的思想。 数据展现 查询 报表 多维分析（钻取、切换） 图形 元数据 元数据是关于数据的数据，它描述了数据的结构、内容、码、索引等项内容。 元数据分类 技术元数据 业务元数据 三个关键部分 数据仓库建设 数