BI商务智能入门资料.doc

2009/2/20 资料整理篇 关键字: Data-ETL-DW-DM/OLAP-Report OLAP  1. BI概论 1 2. 联机事务处理OLTP 1 3. ETL工具介绍: 2 MS?SQL-Server的DTS ETL工具介绍 3 Informatica ETL工具介绍 5 Oracle Warehouse Builder工具介绍 8 ETL开源工具Kitchen介绍 14 4. 数据仓库（Data Warehouse \ DW）的架构 18 5. 数据集市 Data Mart 18 6. 数据挖掘Data Mining（DM） 20 数据挖掘的起源 20 数据挖掘能做什么 20 数据挖掘中的关联规则 22 数据挖掘技术实现 26 数据挖掘与数据仓库融合发展 26 统计学与数据挖掘 27 数据挖掘相关的10个问题 29 7. 联机分析处理OLAP 35 作用 35 起源 36 分类 36 OLAP的发展背景 37 联机分析处理的特点 38 OLAP逻辑概念和典型操作 39 OLAP系统的体系结构和分类 39 联机分析处理的实现方式 41 主要OLAP厂商产品介绍 45 OLAP产品 47 OLAP MDX语言 48 8. 其他工具 1 SAP 1 IBM 1 Microstrategy 1 Cognos 1 SAS 1 Microsoft 1 Oracle 2 Sybase IQ 3  BI概论 BI并不是一项新技术，它将数据仓库(DW)、联机分析处理(OLAP)、数据挖掘(DM)等技术与客户关系管理（CRM）等结合起来 应用于商业活动实际过程当中，实现了技术服务于决策的目的；Mark Hammond从管理的角度看待BI，认为BI是从“根本上帮助你把公司的运营数据转化成为高价值的可以获取的信息（或者知识），并且在恰当的时间通过恰 当的手段把恰当的信息传递给恰当的人”。 Data-ETL-DW-DM/OLAP-Report OLAP(Essbase,ExpServer,Cognos) 联机事务处理OLTP 联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支 持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是维这个概念。? ETL的定义：将数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题 的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有：滥用 缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统，如果其中存在着大量的噪声数据，那么这个系统也是 没有任何意义的，因为“垃圾进，垃圾出”（garbage in, garbage out），系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据，必须在数据库系统中进行数据清洗。目前有不少数据清洗研究和ETL研究，但是 如何在ETL过程中进行有效的数据清洗并使这个过程可视化，此方面研究不多。 ETL为数据仓库服务，数据仓库用于数据分析，数据分析属于BI系统的要干的事儿。 ??? 一般中/小型ERP系统都会有不成熟的BI系统，为啥叫做不成熟？??? 因为它们或者有报表分析功能，但不具有OLAP(在线分析)，或者有OLAP，但却没有数据挖掘和深度分析。或者干脆，来个大集成，直接利用第三方工具来达到相应的目的。??? 为什么会这样，究其原因，很多情况是因为没有自主的数据仓库，没有数据仓库，其它的做起来也就有些四不象了。而要建立数据仓库，首要的是：ETL。??? 于是，需求就应运而生了。 ??? 对了，BI是什么？OLAP是啥？什么又是数据挖掘？鉴于我只能解释其表面含义，我就不多说了。各位不妨找本数据仓库的书