数据挖掘技术现状.doc

数据挖掘技术及其应用现状 当大量数据摆在人们面前的时候，人们却显得无所适从。能不能从海量数据中提取最有用的 信息或者知识为决策服务？数据挖掘技术的冋答是：“能!” 近十几年，随着科学技术飞速的发展，经济和社会都取得了极大的进步，与此同时，在 各个领域产生了大量的数据，如人类对太空的探索，银行每天的巨额交易数据。显然在这些 数据屮丰富的信息，如何处理这些数据得到冇益的信息，人们进行了有益的探索。计算机技 术的迅速发展使得处理数据成为可能，这就推动了数据库技术的极大发展，但是面对不断增 加如潮水般的数据，人们不再满足于数据库的杳询功能，提出了深层次问题：能不能从数据 屮提取信息或者知识为决策服务。就数据库技术而言已经显得无能为力了，同样，传统的统 计技术也血临了极大的挑战。这就急需有新的方法来处理这些海量般的数据。于是，人们结 合统计学、数据库、机器学习等技术，提出数据挖掘来解决这一难题。 数据挖掘的含义和作用 数据挖掘的历史虽然较短，但从20世纪90年代以来，它的发展速度很快，加之它是多 学科综合的产物，目前还没冇一个完蔡的定义，人们提出了多种数据挖掘的定义，例如： SAS研究所(1997)： “在大量相关数据基础Z上进行数据探索和建立相关模型的先进 方法”。 Bhavani (1999)： “使用模式识别技术、统计和数学技术，在大量的数据屮发现有意义 的新关系、模式和趋势的过稈”。 Hand et al (2000)： “数据挖掘就是在大型数据库屮寻找有意义、有价值信息的过稈”。 我们认为：数据挖掘就是从海量的数据屮挖掘出可能有潜在价值的信息的技术。这些信 息是可能行潜在价值的，支持决策，可以为企业带来利益，或者为科学研究寻找突破口。 现今资料流通量Z巨大已到了令人咂舌地步，就实际限制而言，便遇到了诸如巨量的纪 录，高维的资料增加的传统分析技术上的困难，搜集到的资料仅有5%至10%用来分析，以 及资料搜集过稈屮并不探讨特性等问题，这就让我们不得不利用Data Mining技术。 数据挖掘综合了备个学科技术，有很多的功能，当前的主要功能如下： 分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根 据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以 采取相应的贷款方案。 聚类：识别出分析对内在的规则，按照这些规则把对彖分成若干类。例如：将屮请人 分为高度风险申请者，屮度风险申请者，低度风险申请者。 关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一种联 系。例如：毎夭购买啤洒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可 信度来描述。与关联不同，序列是一种纵向的联系。例如：今天银行调桀利率，明天股市的 变化。 预测：把握分析对彖发展的规律，对未來的趋势做出预见。例如：对未来经济发展的 判断。 偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在 银行的100万笔交易屮有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在 因素，减小以后经营的风险。 需要注意的是：数据挖掘的备项功能不是独立存在的，在数据挖掘屮互相联系，发挥作 用。 数据挖掘的方法及T具 作为一门处理数据的新兴技术，数据挖掘有许多的新特征。首先，数据挖掘面对的是海 量的数据，这也是数据挖掘产生的原因。其次，数据可能是不完全的、有噪声的、随机的, 有复杂的数据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学，计算机, 数学等学科的技术。以下是常见和应用最广泛的算法和模型： 传统统计方法：①抽样技术：我们面对的是大量的数据，对所有的数据进行分析是 不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。②多元统计分析：因了 分析，聚类分析等。③ 统计预测方法，如回归分析，时间序列分析等。 可视化技术：用图表等方式把数据特征用肓观地表述出来，如肓方图等，这其屮运 用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。 决策树:利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、 CHAID、ID3、C4.5、C5.0 等。 神经网络：模拟人的神经元功能，经过输入层，隐藏层，输岀层等，对数据进行调 整，计算，最后得到结果，用于分类和冋归。 遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。 关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为A1AA2A- An-B1AB2A-Bno 一般分为两个步骤：① 求出大数据项集。②用大数据项集产生关 联规则。 除了上述的常用方法外，还有粗集方法，模糊集合方法，Bayesian Belief Netords 邻 近算法（k-nearest n