人工智能[第十章数据挖掘与Agent技术]山东大学期末考试知识点复习14179.pdf

山东大学期末考试知识点复习

第十章数据挖掘与Agent技术

1．1数据挖掘的概念与研究内容

在1989年召开的第十一届国际联合人工智能学术会议上，有人提出了数据

库知识发现(KnowledgeDiscoveryinDatabase，KDD)的概念，其目的就是用机

器学习的方法来分析数据库管理系统中存储的数据，发现数据中隐藏的规则与知

识，以解决“数据爆炸但知识贫乏”的现象。

1．数据挖掘的定义

数据挖掘(DataMining)是一类深层次的数据分析方法。是指从大量的、不

完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们

事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括好几层含义：

数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的

知识要可接受、可理解、可运用；并不是要去发现放之四海而皆准的知识，也不

是要去发现崭新的自然科学定理和纯数学公式，更不是什么机器定理证明，只要

能发现针对特定问题的知识即可。其实，利用数据挖掘工具从数据集中所发现的

知识，是有特定前提和约束条件的、面向特定领域的，同时还要能够易于被用户

理解，最好能用自然语言表达所发现的结果。

2．数据挖掘与在线分析处理(OLAP)

数据挖掘与传统的在线分析处理的本质区别是数据挖掘是在没有明确假设

的前提下去挖掘信息、发现知识。

在线分析处理(OLAP)是建立在一些假设之上的。在用OLAP处理数据时，用

户首先建立一系列假设，然后用OLAP检索数据库来验证或推翻所提假设的正确

性，最终得到自己的结论。OLAP分析过程在本质上是一个演绎推理的过程，但

如果分析的变量达到几十或上百个时，再用OLAP手动分析验证这些假设将是一

件非常困难和痛苦的事情。

数据挖掘则不同，它不是用于验证某个假设模型的正确性，而是在数据库中

山东大学期末考试知识点复习

自己寻找模型。其本质是一个归纳的过程。比如，一个用数据挖掘工具的分析师

想找到引起贷款拖欠的风险因素，数据挖掘工具可能会帮他找到高负债和低收入

是引起这个问题的原因，甚至还可能发现一些分析师从来没有想过或试过的其他

因素，比如年龄。换句话说，数据挖掘所得到的信息应具有先前未知、有效和可

实用3个特征。

当然，数据挖掘和OLAP也具有一定的互补性。采用数据挖掘技术得出了一

些信息和知识，当要把这些所得的信息或知识应用于决策时，你也许要验证一下

应用这些信息或知识所制定的决策给企业将会带来什么样的影响，这时OLAP工

具或许能帮你回答这些问题。

3．数据挖掘的研究内容

目前数据挖掘和知识发现的主要研究内容包括基础理论、发现算法、数据仓

库、可视化技术、定性定量互换模型、知识表示方法、发现知识的维护和再利用、

半结构化和非结构化数据中的知识发现以及网上数据挖掘等。

在数据挖掘的研究过程中，可能还会面临很多的难题和挑战，如数据的巨量

性、动态性、噪声性、缺值和稀疏性，发现模式的可理解性、兴趣或价值性，应

用系统的集成，用户的交互操作，知识的更新管理，复杂数据库的处理等等。数

据挖掘是一个依赖于应用的技术，不同的数据挖掘应用可能需要不同的数据挖掘

技术进行处理。

4．数据挖掘的分类

根据挖掘对象分，有如下若干种数据库或数据源：关系数据库、面向对象数

据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗

产(Legacy)数据库以及万维网(Web)。

根据挖掘任务分，有如下几种知识发现任务：分类或预测模型知识发现、数

据总结、数据聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、

异常和趋势发现等等。

山东大学期末考试知识点复习

根据挖掘方法分，可分为统计方法、机器学习方法、神经网络方法和数据库

方法。

根据系统应用分：数据挖掘也可以根据其系统的应用领域分类。例如，可能

有些数据挖掘系统特别适合金融、电信、商业预测等，不同的应用领域通常需要

将一些特别适合该领域的算法进行集成，那些普通的、全能的数据挖掘系统可能

并不适合特定领域的挖掘任务。

1．2数据挖掘的功能与作用

1．发现与预测

数