数据挖掘技术及在电信行业中的应用解读.doc

数据挖掘技术及在电信行业中的应用 数据挖掘研究概述 1.1数据挖掘的概念 数据挖掘又常被称为数据库中的知识发现，Usama Fayyad等对其下的定义为:从大量数据中获取有效的、新颖的、潜在而有用的、最终可理解的信息的非平凡过程，这些信息的表现形式有概念、规则、模式等。数据挖掘是一门交叉学科，其中融合了统计学、机器学习、数据库和数据仓库技术等多个领域的研究成果，为海量数据中的知识提取提供了一整套面向不同需求的算法。 数据挖掘是一门实用性的学科，其主要特点是对海量数据进行抽取、转换、分析等处理，并从中归纳出有趣的模式或规律辅助决策，因此，数据挖掘的产生和发展是和数据库的发展密切相关的。二十世纪六七十年代，数据库技术处于发展的初期，数据量相对较小，利用结构化查询语言SQL已经基本能够满足事务处理和数据分析的需要;从二十世纪八十年代开始，随着先进数据库系统、基于web的数据库系统和数据仓库的诞生和迅速发展，数据量急剧增加，数据分析的要求也变得越来越复杂，这就迫切需要一套从海量数据中提取知识的方法论，因此，数据挖掘作为一门独立的学科应运而生。下图展示了数据挖掘和数据仓库的联系，从图中可以看到，数据仓库是数据挖掘的基础。 图1-1 数据仓库与数据挖掘 确切地说，数据挖掘只是数据库中的知识发现，(Knowledge Discovery in Database，简称KDD)的一个子过程，但却代表着获取知识的动态过程，因此，常将整个知识发现的过程称为数据挖掘。由图1-2可知，整个知识发现的过程是由若干挖掘步骤组成，而数据挖掘仅仅是其中的一个主要步骤。整个知识发现的主要步骤有: 数据清洗（Data Cleaning）清除噪声和无关挖掘主题的数据; 数据集成 (Data Integration) 将来源于多个数据源的相关数据进行组合; 数据转换 (Data Transformation) 将数据转换为易于挖掘的数据存储形式; 数据挖掘 (Data Mining) 知识发现的一个核心步骤，用智能的方法从海量数据中提取数据模式或规律; 模式评估 (Pattern Evaluation) 依据一定的评估标准从挖掘结果筛选出具有实际指导意义的模式; 知识表示 (Knowledge Presentation) 利用可视化和知识表达技术，对所提取的知识进行展示。 图1-2数据库中的知识发现(KDD)流程示意图 1.2 数据挖掘的分类和应用 数据挖掘技术涵盖的范围很广，可以用来解决各类不同的实际问题，下面从数据挖掘的任务和功能这两个不同的角度对数据挖掘进行分类。 首先，从数据挖掘任务的角度对数据挖掘进行分类。数据挖掘是以数据挖掘任务为单位的，一个数据挖掘任务走完数据挖掘的整个流程，其中包含了挖掘的各个环节，如图1-2所示。数据挖掘任务可以分为描述和预测两类:描述性的挖掘任务刻画数据的一般特性，是对数据中所蕴含的规则的描述，或者根据数据的相似程度将数据分成若干组;预测性挖掘任务是在当前数据的基础上，对未来数据的某种行为做出预测，所使用的数据都是可以明确知道结果的。描述和预测的主要区别在于:描述是静态的，是抓取数据的主要特征，并加以归纳和总结;预测是动态的，是指通过学习，将当前学到的知识推广到未来，是更为高级的一种知识提取形式。 其次，从数据挖掘功能的角度对数据挖掘进行分类。根据数据挖掘的不同功能，可将数据挖掘分成以下几类： 概念描述 (Concept Description):概念描述是数据挖掘最简单和直接的功能，它指的是以汇总的、简洁的、精确的方式描述数据库中的大量的细节数据，以方便用户通过数据做出决策。通常可以通过数据特征化、数据区分、数据特征比较等方法得到概念描述，也可通过一些统计学的方法对数据进行描述。 关联分析 (Association Analysis):关联分析是指从大量数据中发现项集之间有趣的关联。关联分析广泛地应用于购物篮或事物数据分析中，可以有效地帮助商家制定许多市场营销方面的决策，使他们知道哪些物品或服务应该被捆绑在一起销售，以提高销售额，“啤酒和尿布”的例子是关联规则最具代表性的应用。 分类和预测 (Classification and Forecast):分类和预测是两种性质类似的数据分析形式，因为两者都是根据当前数据行为预测未来的数据行为，所不同的是，分类通常预测的是类标签，类标签通常是离散值，而预测通常用于对连续值的预测，例如对某个连续属性的缺失值做出估计。分类是数据挖掘最重要的功能，其实际应用也最为广泛。 聚类分析(Clustering):聚类和分类的功能类似，都是预测类标签，但从学习方式的角度看，两者的实现机理却是相反的;聚类