《商务大数据分析与应用》课件——3-1-3大数据预处理.pptxVIP

商务大数据分析与应用

离散化和概念层次树离散化技术方法可以通过将属性（连续取值）域值范围分为若干区间，来帮助消减一个连续（取值）属性的取值个数。

离散化和概念层次树离散化技术方法可以通过将属性（连续取值）域值范围分为若干区间，来帮助消减一个连续（取值）属性的取值个数。可以用一个标签来表示一个区间内的实际数据值。在基于决策树的分类挖掘中，消减一个属性取值个数的离散化处理是一个极为有效的数据预处理步骤。概念层次树可以通过利用较高层次概念替换低层次概念而减少原来数据集。虽然一些细节在数据泛化过程中消失了，但这样所获得的泛化数据或许会更易于理解、更有意义。在消减后的数据集上进行数据挖掘显然效率更高。如右图，年龄属性概念层次树。

数值概念层次树由于数据范围变化较大，构造数值属性的概念层次树是一件较为困难的事情。利用数据分布分析，可以自动构造数值属性的概念层次树。其中五种主要构造方法如下：Bin方法直方图方法聚类分析方法基于熵的离散化方法自然划分分段方法

数值概念层次树Bin方法Bin方法用于数据平滑。这些应用也是一种形式的离散化。例如：属性的值可以通过将其分配到各Bin中而将其离散化。利用每个Bin的均值和中数替换每个Bin中的值（利用均值或中数进行平滑）。循环应用这些操作处理每次操作结果，就可以获得一个概念层次树。直方图方法直方图方法也可以用于离散化处理。例如：在等宽直方图中，数值被划分为等大小的区间，如：（0，100]、（100，200]、…、（900，1000]。循环应用直方图分析方法处理每次划分结果，从而最终自动获得多层次概念树，而当达到用户指定层次水平后划分结束。

数值概念层次树聚类分析方法聚类算法可以将数据集划分为若干类或组。每个类构成了概念层次树的一个节点；每个类还可以进一步分解为若干子类，从而构成更低水平的层次。当然类也可以合并起来构成更高层次的概念水平。基于熵的离散化方法基于熵的方法构造数值概念层次树可以消减数据集规模。与其它方法不同的是基于熵的方法利用了类别信息，这就使得边界的划分更加有利于改善分类挖掘结果的准确性。

数值概念层次树自然划分分段方法尽管Bin方法、直方图方法、聚类方法和基于熵的离散化方法均可以帮助构造数值概念层次树，但许多时候用户仍然使用将数值区间划分为归一的、易读懂的间隔，以使这些间隔看起来更加自然直观。如：将年收入数值属性取值区域分解为[50000，60000]区间要比利用复杂聚类分析所获得的[51265，60324]区间要直观的多。

类别概念层次树类别数据是一种离散数据。类别属性可取有限个不同的值且这些值之间无大小和顺序。比如：国家、工作、商品类别等。构造类别属性的概念层次树的主要方法有如下几种：属性值的顺序关系已在用户或专家指定的模式定义说明。通过数据聚合来描述层次树。定义一组属性但不说明其顺序。

类别概念层次树属性值的顺序关系已在用户或专家指定的模式定义说明构造属性（或维）的概念层次树涉及一组属性；通过在（数据库）模式定义时指定各属性的有序关系，可以帮助轻松构造出相应的概念层次树。例如：一个关系数据库中的地点属性：街道、城市、省和国家。根据数据库模式定义时的描述，可以很容易地构造出（含有顺序语义）层次树，即：街道城市省国家。

类别概念层次树通过数据聚合来描述层次树这是概念层次树的一个主要（手工）构造方法。在大规模数据库中，想要通过穷举所有值而构造一个完整概念层次树是不切实际的，但可以对其中一部分数据进行聚合说明。例如：在模式定义基础构造了省和国家的层次树，这时可以手工加入：{安徽、江苏、山东}?华东地区；{广东、福建}?华南地区等“地区”中间层次。

类别概念层次树定义一组属性但不说明其顺序用户可以将一组属性组织在一起以便构成一个层次树，但不说明这些属性相互关系。这就需要自动产生属性顺序以便构造一个有意义的概念层次树。没有数据语义的知识，想要获得任意一组属性的顺序关系是很困难的。一个重要线索：高水平概念通常包含了若干低层次概念。定义属性的一个高水平概念通常包含了比一个低层次概念所包含要少一些的不同值。根据这一观察，就可以通过给定属性集中每个属性的一些不同值自动构造一个概念层次树。拥有最多不同值的属性被放到层次树最低层；拥有的不同值数目越少在概念层次树上所放的层次越高。

类别概念层次树定义一组属性但不说明其顺序。例如：假设用户针对商场地点属性选择了一组属性：街道、城市、省和国家，但没有说明这些属性层次顺序关系。地点的概念层次树可以通过以下步骤自动产生：首先根据每个属性不同值的数目从小到大进行排序；从而获得这样的顺序，其中括号内容为相应属性不同值的数目。国家（15）、省（65）、城市（3567）和街道（674339）。根据所排顺序自顶而下构造层次树，即第一个属性在最高层，最后一个属性在最