内容简介_24475内容简_24475内容简介_24475内容简介_24475.ppt

数据仓库与数据挖掘技术 Electronic Commerce 夏火松 E-MAIL:BXXHS@SINA.COM  第三部分 主要内容讲解第一章 数据仓库与数据挖掘概述  1.1 数据仓库引论 1 1.1.1 为什么要建立数据仓库 1 1.1.2 什么是数据仓库 2 1.1.3 数据仓库的特点 7 1.1.4 数据进入数据仓库的基本过程与建立数据仓库的步骤 11 1.1.5 分析数据仓库的内容 12 1.2 数据挖掘引论 13 1.2.1 为什么要进行数据挖掘 13 1.2.2 什么是数据挖掘 18 1.2.3 数据挖掘的特点 21 1.2.4 数据挖掘的基本过程与步骤 22 1.2.5 分析数据挖掘的内容 26 1.3 数据挖掘与数据仓库的关系 28 1.4 数据仓库与数据挖掘的应用 31 1.4.1 数据挖掘在零售业的应用 31 1.4.2 数据挖掘技术在商业银行中的应用 36 1.4.3 数据挖掘在电信部门的应用 40 1.4.4 数据挖掘在贝斯出口公司的应用 42 1.4.5 数据挖掘如何预测信用卡欺诈 42 1.4.6 数据挖掘在证券行业的应用 43 思考练习题一 44 1.1.1 为什么要建立数据仓库 数据仓库的作用 建立数据仓库的好处 1.1.2 什么是数据仓库 1．数据仓库的概念 W.H.Inmon在《Building the Data Warehouse》中定义数据仓库为：“数据仓库是面向主题的、集成的、随时间变化的、历史的、稳定的、支持决策制定过程的数据集合。” 即数据仓库是在管理人员决策中的面向主题的、集成的、非易失的并且随时间而变化的数据集合。 “DW是作为DSS基础的分析型DB，用来存放大容量的只读数据，为制定决策提供所需的信息。” “DW是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的。即与企业定义的时间区段相关，面向主题且不可更新的数据集合。” 数据仓库是一种来源于各种渠道的单一的、完整的、稳定的数据存储。这种数据存储提供给可以允许最终用户的可以是一种他们能够在其业务范畴中理解并使用的方式。 数据仓库是大量有关公司数据的数据存储。 仓库提供公司数据以及组织数据的访问功能，其中的数据是一致的（consistent），并且可以按每种可能的商业度量方式分解和组合；数据仓库也是一套查询、分析和呈现信息的工具；数据仓库是我们发布所用数据的场所，其中数据的质量是业务再工程的驱动器（driver of business reengineering）。 定义的共同特征：首先，数据仓库包含大量数据，其中一些数据来源于组织中的操作数据，也有一些数据可能来自于组织外部；其次，组织数据仓库是为了更加便利地使用数据进行决策；最后，数据仓库为最终用户提供了可用来存取数据的工具。 数据仓库的定义 综合对数据仓库的各种理解以及其特征，我们可以定义数据仓库是一种为信息分析提供了良好的基础并支持管理决策活动的分析环境，是面向主题的、集成的、稳定的、不可更新的、随时间变化的、分层次的多维的集成数据集合。 2．与数据仓库相关的几个概念 数据（data）是一组表示数量、行动和目标的非随机的可以鉴别的符号,是对客观事物记录下来的，可以鉴别的符号。这些符号包括数字、字符、文字、图形、图像、声音。 操作数据 原子数据 汇总数据 特定查询响应 数据类型的分类 元数据是指用来描述数据仓库数据库内容的数据。以后将详细讨论元数据。 数据库是一组内部相关联的数据集合。其中关系数据库是表的集合，每个表都有惟一的名字，且每个表都由一组字段（属性）所存放的记录组成。 数据库管理系统（DBMS）是用来管理和存取数据库的一组软件。该软件具有如下机制：数据库结构定义，数据的存储、并发、共享或分布的数据访问，数据的一致性和安全性。 数据库系统是一个由硬件、软件、数据库和管理人员组成的复杂系统。随着信息技术不断的发展，对数据处理的技术和人们对数据的需求也在不断的进化，如图1.2所示的数据库系统及相关技术的演化。 数据集市（data marts）通常是指较为小型化、针对特定目标且建设成本较低的一种数据仓库。为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subject data）。 数据库系统及相关技术的演化 1.1.3 数据仓库的特点 1．主题与面向主题 2．数据仓库数据的集成性 3．数据仓库数据的不可更新性 4．DW数据的时态性 1.1.4 数据进入数据仓库的基本过程与建立数据仓库的步骤 1．数据进入数据仓库的基本过程 操作数据向数据仓库的移动包括以下五个