SAS系统和数据分析聚类分析参考.doc

聚类分析 聚类分析是多元统计分析中研究“物以类聚”的一种方法，用于对事物的类别面貌尚不清楚，甚至在事前连总共有几类都不能确定的情况下进行分类的场合。 聚类分析的主要目的是研究事物的分类，而不同于判别分析。在判别分析中必须事先知道各种判别的类型和数目，并且要有一批来自各判别类型的样本，才能建立判别函数来对未知属性的样本进行判别和归类。若对一批样品划分的类型和分类的数目事先并不知道，这时对数据的分类就需借助聚类分析方法来解决。 聚类分析把分类对象按一定规则分成组或类，这些组或类不是事先给定的而是根据数据特征而定的。在一个给定的类里的这些对象在某种意义上倾向于彼此相似，而在不同类里的这些对象倾向于不相似。关于聚类分析的任何通则必定是含糊的、不明确的，因为在众多的各种不同领域里聚类方法已经得到发展，类和对象间的相似性具有不同定义。各种聚类分析方法通过用于聚类分析的各种各样的领域反映出来。因此，尽管聚类方法有很多种，但不管哪一种都不能说得到的分类是准确的。 下面我们介绍聚类分析中常用的一些方法。 距离和相似系数 什么是“类”呢？粗略地说，相似物体的集合称作类；聚类分析的目的就是把相似的东西归类。其次“相似”是什么含意？怎样度量“相似”？我们必须给出度量“相似”的统计指标。 聚类根据实际的需要有两个方向，一是对样品的聚类，一是对变量的聚类。相应的聚类统计量有两类：一种统计指标是类与类之间的距离，它是把每一个样品看成高维空间中的一个点，类与类之间用某种原则规定它们的距离，将距离近的点聚合成一类，距离远的点聚合成另一类。距离一般用于对样品分类。 另一种是相似系数，根据这个统计指标将比较相似的变量归为一类，而把不怎么相似的变量归为另一类，用它可以把变量的亲疏关系直观地表示出来。 距离 设有组样品，每组样品有个变量，组样品数据如表39.1所示。 表39.1 个变量的组样品数据 样品号 变量 1 2 … n … … … 第i个与第j个样品之间的距离用表示，一般应满足下面的条件： 当第i个样品与第j个样品相等； 对一切i，j； 对一切i，j； 对一切对一切i，j ，k。 最常用的距离有欧几里德距离、闵可夫斯基和马氏距离： 欧几里德（Euclid）距离： (39.1) 闵可夫斯基（Minkowski）距离： (39.2) g一般为1或2，如果g=1时也称之为绝对值距离，g=2时即为欧几里德距离。 马氏（Mathalanobis） (39.3) 其中，为第i个样品的p个元素组成的向量，为第j个样品的p个元素组成的向量，为个样品的的协方差矩阵的逆矩阵。 相似系数 聚类分析有时也需要对变量进行聚类。在对变量进行聚类时，也可以定义变量间的距离，通常使用变量间的相似系数。常用的相似系数有： 夹角余弦 夹角余弦作为变量间的相似关系，它忽视各变量的绝对长度，着重从形状方面反映它们之间的关系。记变量与的夹角余弦为，其中，则有： (39.4) 相关系数 变量与的相关系数为： (39.5) 表示第个指标的平均值。 借助于相似系数，可以定义变量之间的距离。例如，采用非相似测度距离为，或 。另外，还有其他一些定义相似系数的方法。 类的特征和类与类之间距离及统计量 我们的目的是聚类，那么什么叫类呢？由于客观事物的千差万别，在不同的问题中类的含义是不尽相同的。图39.1表现的是五种不同类型的类。 图39.1 各种形式的类 试图给类一个严格的定义，绝非一件简单的事。下面给出类的几个定义，不同的定义适用于不同的场合。用表示类，假设中有个元素，用、表示中第、个因素。 定义1 T为一给定的阈值，如果对任意的，有(为i和j的距离)，则称G为一个类。 定义2 T为一给定的阈值，如果对每个，有，则称G为一个类。 定义3 T为一给定的阈值，如果对任意一个，一定存在使得则称G为一个类。 易见，定义1的要求是最高的，凡符合它的类，一定也是后两种定义的类。此外，凡符合定义2的类，也一定是定义3的类。 类的特征 现在类的元素用表示，m为内的样品数，可以从不同的角度来刻画的特征。常用的特征有如下三种： 均值（或称为的重心）： (39.6) 样品协方差阵： (39.7) G的直径。它有多种定义，例如： (39.8) (39.9) 类的距离 在聚类分析中，不仅要考虑各个类的特征，而且还要计算类与类之间的距离。由于类的形状是多种多样的，因此，类与类之间的距离也有多种计算方法。令和中分别有和个样品，它们的重心分别记为和。下面给出一些常用的类与类之间的距离定义，用