浅析基于数据仓库OLAP联机分析技术与数据挖掘技术.docVIP

浅析基于数据仓库OLAP联机分析技术与数据挖掘技术 　　摘要: 数据仓库,联机分析,数据挖掘都是信息领域中近年来快速发展起来的新技术,本文浅析了数据仓库技术,联机分析技术,数据挖掘技术的相关概念,论述了数据挖掘的方法,最后阐明了联机分析技术与数据挖掘技术的区别与联系,强调实际中相互配合使用有助于进行更好的决策。 　　关键词: 数据仓库;数据挖掘;联机分析 　　 　　随着数据库技术的迅速发展以及数据库管理系统的广泛应用,人们积累的数据越来越多。大量的数据的背后隐藏着许多重要的信息,人们希望对其进行高层次的有效分析,以达到充分利用这些数据,于是数据仓库技术、联机分析处OLAP理技术和数据挖掘技术就随此诞生了。 　　 　　1 数据仓库技术 　　 　　数据仓库(Data Warehouse)简称DW。最早被誉为“数据仓库之父”的W.H.Inmon将数据仓库明确地定义为:数据仓库是集成的面向主题的数据库集合。但数据仓库系统并非一个简单由各种数据合并而成的超大型数据库,而是一种专为联机分析应用和决策支持系统(DDS)提供数据分析和决策工具的结构化数据环境。它涉及数据的抽取、转换、装载、数据存取、元数据管理、查询、报表、分析工具及相应的开发方法等。它是用来支持决策,支持功能的。 　　它具有如下特征: 　　1.1它是面向主题的。 　　主题的含义是指在较高层次上将信息系统中的数据综合、归类并进行分析利用的抽象。数据仓库中的数据面向主题与传统数据库面向应用相对应。面向主题的数据组织方式,就是在较高层次上对分析对象的数据做一个完整的、一致的描述,并统一分析对象所涉及的数据项及数据项之间的联系。 　　1.2数据的集成性 　　数据仓库的集成特性是指在数据进入数据仓库之前.必须通过数据加工集成,这是建立数据仓库的关键步骤。 　　1.3数据的相对稳定性 　　数据仓库中的数据是相对稳定的。它不进行实时更新,一旦数据进入数据仓库中去就不能由用户进行更新。但从数据仓库存贮的数据内容上,可分为当前数据和历史数据。在一定时间间隔后,当前数据需要按一定的方法转换成历史数据。对分析处理不再有用的数据需要从数据仓库中删除,这些??作是由系统管理员或由系统自动完成的。因此,可以说数据仓库在一定时间间隔内是稳定的。 　　 　　2联机分析处理技术 　　 　　联机分析处理技术即OLAP技术,是利用存储在数据仓库中的数据完成各种分析操作,并以直观易懂的形势将分析结果返回给决策分析人员。OLAP联机分析技术是针对数据仓库应用中广泛出现的大量的聚集操作而产生的一种新的技术,总体上讲联机分析技术可以分成两种类型,一种是基于关系数据库系统实现的联机分析系统,简称ROLAP。其基本思想是对数据仓库中的数据模式进行合理组织,直接通过关系查询实现切片、切块、下钻、上翻和旋转等基本分析操作。另一种是基于多维模型实现联机分析,主要研究如何减少存储空间来实现查询功能,而且还可以给用户提供强大的多维和多层分析、统计和以报表处理功能,甚至可以进行趋势分析。OLAP技术还可以和数据挖掘技术联系起来运用,即数据挖掘可以利用OLAP的分析结果,可以拓展分析的深度,可以发现OLAP联机技术所不能发现的更为复杂、细致的信息。 　　 　　3 数据挖掘 　　 　　数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的人们事先不知道的,但又是潜在有用的信息和知识的过程。 　　数据挖掘综合了各个学科技术,有很多的功能,包括、聚类分析、关联分析、分类、预测、时间序模式和偏差等。需要注意的是数据挖掘的各项功能不是独立存在的 而是在数据挖掘中互相联系的一起发挥作用。 　　数据挖掘的方法也有很多种,简要介绍如下: 　　3.1 聚集分析(ClusterDetection) 　　聚集分析是将一个数据集分为几个特征相同的簇, 即把特征相同的数据聚集在一起。非3.2 决策树(Decision Tree) 　　它将基础集中数据分为不相交的子集, 每个子集可由一定的规则来描述。此规则在逻辑上具有层次结构, 因此可用树型的数据结构来表示,树上的每个节点代表一条规则。 　　3.3链路分析(Link Analysis) 　　它用来分析对象之间的关系,用图数据结构来表示。具体方法是将对象看成是图的节点, 它们之间存在的关系则看成是图的边即链路,然后用图论的方法进行数据分析。 　　3.4 神经网络(NeutralNetwork) 　　这是最常见的一种有效的数据挖掘方法。即在计算机上模拟神经元及其连接的方法,其中神经网络实际上是完成从已知数据项到目的数据项的一种非线性映射, 它获取的知识就存在于网络结构中。神经网络主要用来进行分类、估计和预测等来实现有向数据挖掘,