数据仓库与数据挖掘().pdfVIP

__________________________________________________

数据仓库与数据挖掘

摘要：数据仓库与数据挖掘的基本概念、特点和体

系结构,讨论了数据挖掘的技术算法及数据仓库与数

据挖掘的应用领域。

主题词数据仓库数据挖掘涵义关系

一、引言

数据仓库技术的出现是由于决策支持系统发展的

需要。它的提出是以关系数据库、并行处理、分布式

技术以及INTERNET的飞速发展为基础,它是解决如何

利用分散的异构环境数据源,及时得到准确的信息,

解决信息技术(IT)在发展中一方面拥有大量数据,另

一方面有用信息却很贫乏这种不正常现象的综合解

决方案。

二、数据仓库

1.数据仓库的涵义

数据仓库的定义:数据仓库是面向主题的、整合的、

稳定的,并且时变的收集数据以支持管理决策的一种

数据决策形式。从Inmon的定义,我们理解数据仓库

具有如下特征:

(1)主题是数据归类的标准,每一个主题基本对应

一个宏观的分析领域。

(2)数据进入数据仓库之前,必须经过加工与集成,

1__________________________________________________

__________________________________________________

对不同的数据来源进行统一数据结构和编码,将原始

数据由面向应用转向面向主题。

(3)数据仓库中存储大量的历史数据,数据经集成

进入数据仓库后是极少或根本不更新的。

(4)数据仓库的数据时限在5~10年,故数据的编码

包含时间项,因此仓库要时变地收集数据。

(5)通常的数据仓库数据量为10GB级,相当于一般

数据库100MB的100倍,大型数据仓库是一个TB级数

据量。

(6)数据仓库支持OLAP(On-lineAnalytical

Processing)、决策分析及数据挖掘,OLAP决策分析和

数据挖掘给出数据仓库中数据的多维逻辑视图,包含

交互式查询和对数据的分析,提供分析的建模功能,

生成概括数据、聚集、层次,支持功能模型进行预测、

趋势分析、统计分析操作。

2.数据仓库的结构组成

数据仓库主要由数据源、数据仓库、业务数据仓库、

数据分析与报表、数据管理、元数据管理、传输和基

础结构几部分构成(图1)。数据仓库系统以数据仓库

为核心,通过数据分析与报表模块的查询和分析工具

(OLAP、决策分析、数据挖掘)完成对信息的提取,以

满足决策的需要。

2__________________________________________________

__________________________________________________

三、数据挖掘(datamining)

1.数据挖掘的概念

数据挖掘是从数据仓库中提取出可信的、新颖的、

有效的并能被人理解的模式的高级处理过程。所谓模

式,可以看作是我们所说的知识,它给出了数据的特

性或数据之间的关系,是对数据包含的信息更抽象的

描述。如:成绩优秀的学生学习都非常刻苦;发烧的人

是因为患了感冒等。模式的表示方法很多,可以利用

图形、文字、表达式等方式表示;所谓处理过程是指

数据挖掘是一个多步骤的对大量数据进行分析的过

程,包括数据预处理、模式提取、知识评估及过程优

化。知识提取往往需要经过多次的反复,通过对相关

数据的再处理及知识学习算法的优化,不断提高学习

效率。如在分析影响信用风险的因素时,先假设几种

可能的因素,然后通过不断反复的实验,不断增加和

删除因素,最终得到对信用风险最具影响的因素;所

谓可信、新颖和具有潜在作用是指通过数据挖掘从当

前数据仓库所发现的模式必须有一定的正确程度和

新颖性,否则数据挖掘就毫无根据作用。虽然知识发

现可以对已有的知识进行验证,但发现新的知识往往

更重要,或者对已有的知识进行拓展以得到更全面、

更具有实际意义的知识。发现的知识必须经过实践的

3__________________________________________