数据挖掘概念与技术.pptVIP

无监督离散化**协同计算与知识工程原始数据等宽离散化等频离散化K-means等宽方法是将属性值域划分成相同宽度的区间。可能造成有的区间包含许多实例，有的区间很少实例。等频方法将相同数量的对象放到每个区间。有监督离散化**协同计算与知识工程基于熵的离散化(Entropybasedapproach)通过自然划分分段**协同计算与知识工程将数值区域划分为相对一致的、易于阅读的、看上去更直观或自然的区间。聚类分析产生概念分层可能会将一个工资区间划分为：[51263.98,60872.34]通常数据分析人员希望看到划分的形式为[50000，60000]自然划分的3-4-5规则常被用来将数值数据划分为相对一致，“更自然”的区间自然划分的3-4-5规则规则的划分步骤：如果一个区间最高有效位上包含3，6，7或9个不同的值，就将该区间划分为3个等宽子区间；(7?2,3,2)例如区间：-10000—20000,该区间的最高有效位msd=10000,则该区间跨越了（20000-（-10000))/10000=3个不同的值。如果一个区间最高有效位上包含2，4，或8个不同的值，就将该区间划分为4个等宽子区间；如果一个区间最高有效位上包含1，5，或10个不同的值，就将该区间划分为5个等宽子区间；将该规则递归的应用于每个子区间，产生给定数值属性的概念分层；对于数据集中出现的最大值和最小值的极端分布，为了避免上述方法出现的结果扭曲，可以在顶层分段时，选用一个大部分的概率空间。e.g.5%-95%**协同计算与知识工程(-$400-$5,000)(-$400-0)(-$400--$300)(-$300--$200)(-$200--$100)(-$100-0)(0-$1,000)(0-$200)($200-$400)($400-$600)($600-$800)($800-$1,000)($2,000-$5,000)($2,000-$3,000)($3,000-$4,000)($4,000-$5,000)($1,000-$2,000)($1,000-$1,200)($1,200-$1,400)($1,400-$1,600)($1,600-$1,800)($1,800-$2,000)msd=1,000 Low=-$1,000 High=$2,000第二步第四步第一步-$351 -$159 profit $1,838 $4,700 MinLow(i.e,5%-tile) High(i.e,95%-0tile)Maxcount(-$1,000-$2,000)(-$1,000-0)(0-$1,000)第三步($1,000-$2,000)-$400,$5000分类数据的概念分层生成**协同计算与知识工程分类数据是指无序的离散数据，它有有限个值（可能很多个）。分类数据的概念分层生成方法**协同计算与知识工程如：关系数据库或数据仓库的维location可能包含如下属性组：street,city,province_or_state和country。可以在模式级说明这些属性的全序，如：streetcityprovince_or_statecountry,来定义分层。由用户或专家在模式级显示地说明属性的偏序(或全序)可以很容易地定义概念分层。分类数据的概念分层生成方法**协同计算与知识工程内容提要**协同计算与知识工程数据及数据类型1为什么要预处理数据?2描述数据的汇总（为数据预处理提供分析的基础）3数据清理4数据集成和变换5数据归约6相似度计算7数据归约**协同计算与知识工程为什么需要进行数据规约？数据仓库中往往存有海量数据在整个数据集上进行复杂的数据分析与挖掘需要很长的时间数据归约数据归约可以用来得到数据集的归约表示，它小得多，但可以产生相同的（或几乎相同的）分析结果数据归约策略数据立方体聚集维归约数据压缩数值归约数据立方体聚集（例子）**协同计算与知识工程例如你收集的数据是2002－2004年每个季度的销售数据，然而，你感兴趣的是年销售（每年