基于遗传算法的大数据分析技术研究.pdfVIP

基于遗传算法的大数据分析技术研究--第1页

基于遗传算法的大数据分析技术研究

摘要：本文对遗传算法在数据挖掘中的应用进行了广泛的研究，阐明了数

据挖掘的定义和常用技术，对遗传算法在数据挖掘领域中实现的原理和目前应用

进行了详细阐述，并讨论了遗传算法在数据挖掘中所面临的问题。

关键字：遗传算法；数据挖掘

1.

引言

近年来，数据挖掘（DataMining）已成为企业热门的话题。简单来说数据

挖掘就是在庞大的数据库中寻找出有价值的隐藏信息。更广义的说法是：数据挖

掘意味着在一些事实或观察数据的集合中寻找模式的决策支持过程。在当今这样

一个数据爆炸但知识相对贫乏的时代，如何解决数据过多造成的问题，此时就需

要用到数据挖掘技术。然而在各种数据挖掘方法中，都有其自身的局限性。遗传

算法是基于生物进化原理的一种自适应优化方法。将数据挖掘技术与遗传算法相

结合，可以使其更有效的发挥二者各自的特点，弥补彼此的不足，并把遗传算法

运用在数据挖掘系统中能够较好地解决数据挖掘技术中出现的问题。

1.

概述

2．1数据挖掘的含义

从技术上讲，数据挖掘（DataMining）就是从大量的、不完全的、有噪声

的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、

但又有潜在有用的信息与知识的过程。这个定义包含了数层含义：数据源必须是

真实的、大量的、含噪声的；知识发现的是用户感兴趣的知识；发现的知识要可

接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现

问题。这里所指的知识发现，不是要求发现放之四海而皆准的真理，也不是要去

基于遗传算法的大数据分析技术研究--第1页

基于遗传算法的大数据分析技术研究--第2页

发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明。事实上，所

有发现的知识都是相对的，是有特定前提和约束条件，面向特定领域的，同时还

要能够易于被用户理解。它最好能用自然语言表达所发现的结果。

从商业角度讲：数据挖掘是一种新的商业信息处理技术，其主要特点是对商

业数据库中的大量业务数据进行抽取、转换、分析以及其他模型化处理，从而提

取出辅助商业决策的关键性数据。因此，数据挖掘又可以描述为：按企业既定业

务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的

规律性，并进一步将其模型化的先进有效的方法。

2．2数据挖掘常用的技术方法

1.

统计分析

统计分析方法使利用统计、概率的原理对关系中各属性进行统计分析，从而

找出他们之间的关系和规律。

1.

人工神经网络

神经网络是模拟人类的形象直觉思维，在生物神经网络研究的基础上，根据

生物神经元和神经网络的特点，通过简化、归纳，提炼总结出来的一类并行处理

网络。电脑常识

1.

决策树

决策树利用树型结构来表示决策集合，这些决策集合通过对数据集的分类而

产生规则。首先，利用训练集生成一个测试函数，根据不同取值建立树的分支，

在每个分支子集中建立下层节点和分支，生成一棵决策树；然后对决策树进行剪

枝处理；最后把决策树转换为规则，并且利用这些规则对新事例进行分类。

SAAS

基于遗传算法的大数据分析技术研究--第2页

基于遗传算法的大数据分析技术研究--第3页

1.

聚类算法

聚类算法是通过对变量的比较，把具有相似性特征的数据归为一类。因此，

通过聚类算法以后，数据集就转化为类集。在类集中，同一类数据具有相似的变

量值，而不同类数据的变量值不具有相似性。聚类算法主要用于描述和发现数