基于数据库和数据仓库数据挖掘.ppt

第二章 关系数据库的数据挖掘 2.1 关系数据库的数据挖掘 关系数据库 R（A1，A2….An) ? 关系数据库的广泛应用，加上对知识的大量需求以及各种技术的发展，使得关系数据库的KDD迎来了理想的时机，是KDD最流行、最丰富的数据源，是研究KDD的最主要的数据形式。 关系数据库可以提供简单的查询。若将KDD应用到关系数据库，则可以进一步发现趋势和模式。 从数据库中发现知识有两方面的含义： 定性知识 一是指研究如何从商业数据等由事实数据所构成的大规模数据库中发现隐含的规律性或不同属性值间存在的（if then）规则， --------可称之为发现的定性知识 如被广泛引证的“啤酒尿布”例子发现的事实：“在购买啤酒的顾客中，有80%的顾客购买尿布”。 定量知识 二是与科学发现相关，从观测客观世界的大量实验数值数据中发现数据的整体结构特性和数据间的函数依赖或相关关系，并根据统计特征推断客观世界中数据间存在的规律性 ------称为发现的定量知识. 如职工工资数据库中，工资与职称之间是呈线形关系还是呈指数关系？等等。 无论哪个KDD系统都不可能也不必要从数据库中存储的所有数据中发现所有可能存在的知识，正如世界上的知识是丰富多彩的，而我们不可能也不需要掌握所有知识一样。 一般而言，KDD系统是在发现任务（用户感兴趣的问题）的 驱动下: 首先: （1) 利用SQL查询语言中的条件语句WHERE描述其约束条件 (2) 利用SELECT语句确定用户感兴趣的属性域 必要的话， (3)利用GROUP BY等复杂子句和嵌套功能进行各种数据汇总 得到知识基表 其次: 是在与用户交互的过程中，对知识基表进行操作，从而发现能从一定程度上满足用户感兴趣的问题。 对知识基表的操作又可分: 宏观操作方向 微观操作方向 宏观操作方向指对知识基表进行浓缩，使得基表中数据的粒度由细到粗，逐步发现基表中宏观规律性的过程； 微观操作方向是指对基表内部进行分析，发现属性间函数依赖、相关关系或某些规律性知识的过程。 按照这两个方向，KDD发现知识的方法相应地可划分为两大类： ? 2.2.1、知识基表浓缩过程中发现知识的归纳方法 ------定性分析 即从知识基表中提取所有或大多数元组满足的规则。 在这个过程中，一般采用归纳的方法来发现基表中逐步宏观的知识，每归纳一步，都得到比前一步稍微宏观一些的知识，在归纳过程中，常常同时使用面向属性和面向元组这两种归纳方法。 ??? 1、面向属性的归纳方法(AOI—1989) 该技术是1992年，Jiawei Han,Yandong Cai 在加拿大举行的国际会议论文 “Knowledge Discovery in Databases: An Attribute-Oriented Approach” 中提出的。 它是一种通过对属性值间概念的层次结构进行归纳，进而求得规则的方法。 在实际情况中，许多属性都可以进行数据归类，以形成概念会聚点。这些概念依抽象程度不同可构成描述它们层次结构的概念树。如下图是根据大学学生数据库，反映大学学生状况的一棵概念树 通常，概念树由知识工程师或领域专家提供. 在概念树中，叶节点为数据库中属性的原始取值，非叶节点是对该属性值归纳过程中产生的更宏观一些的父概念。 一个概念树只是各不相同的离散值或数字值的一个范围，一般不会太大。 根据不同的角度和预先定义，在同一属性上可以构造不同的概念分层。 例如，出生地可以根据行政区域、地理位置、城市的大小等概化 也可以根据：街道、城市、省、国家来概化 面向属性归纳方法的基本思路是： 先得到与任务相关的以关系表形式出现的数据集合，然后对每个属性进行爬升概念树的方法对该属性进行概化： 首先，一个属性较具体的值被该属性的概念树中父概念所替代； 概化(属性删除和属性概化) 概化控制过程 (1)属性概化阈值控制 或者对所有的属性设置一个概化阈值,或着对每个属性设置一个阈值.如果属性的不同值个数大于属性概化阈值,则对该属性进行概化, (2)关系阈值控制 为概化关系设置一个阈值.如果概化关系中不同元组的个数超过该阈值,则应进一步概化 其次，对基表中出现的相同元组进行合并构成宏元组，并计算宏元组所涵盖的元组数目。 概化后的关系中，每个概化的元组可以被视为一条对原关系的总结性特征描述规则。 如：根据我校大学学生数据库（表1），判断研究生与籍贯和年龄有何关系？ ? ? 首先根据问题，知道关心的属性是