ch08-聚类与判别解说.ppt

第8章 聚类分析与判别分析 8.1 聚类分析 8.2 判别分析 8.1 聚类分析 8.1.1 聚类分析的一般概念 8.1.2 系统聚类法的基本思想和步骤 8.1.3 用CLUSTER过程和TREE过程进行系统聚类 8.1.4 用VARCLUS过程进行变量聚类 8.1.1 聚类分析的一般概念 设有n个样品(多元观测值)，每个样品测得m项指标(变量)，得到观测数据xij（i=1,…,n；j=1,…,m），如表所示。 表中数据又称为观测数据阵或简称为数据阵，其数学表示为： 其中列向量Xj = (x1j，x2j，…，xnj)，表示第j项指标（j = 1，2，…，m），行向量X(i) = (xi1，xi2，…，xin)表示第i个样品。 1. 两种聚类分析 根据分类对象的不同，聚类分析分为两种： (1) 样品聚类：样品聚类是对样品（观测）进行的分类处理，又称为Q型分类，相当于对观测数据阵按行分类。 (2) 变量聚类：变量聚类是对变量（指标）进行的分类处理，又称为R型分类，相当于对观测数据阵按列分类。 两种聚类在形式上是对称的，处理方法也是相似的。 2. 聚类分析的方法 聚类方法大致可归纳如下： (1) 系统聚类法（谱系聚类） 先将l个元素（样品或变量）看成l类，然后将性质最接近（或相似程度最大）的2类合并为一个新类，得到l – 1类，再从中找出最接近的2类加以合并变成了l – 2类，如此下去，最后所有的元素全聚在一类之中。 (2) 分解法（最优分割法） 其程序与系统聚类相反。首先所有的元素均在一类，然后按照某种最优准则将它分成2类、3类，如此下去，一直分裂到所需的k类为止。 (3) 动态聚类法（逐步聚类法） 开始将l个元素粗糙地分成若干类，然后用某种最优准则进行调整，一次又一次地调整，直至不能调整为止。 (4) 有序样品的聚类 n个样品按某种因素（时间或年龄或地层深度等）排成次序，要求必须是次序相邻的样品才能聚在一类。 其他还有：有重叠聚类、模糊聚类、图论聚类等方法。 3. 聚类统计量 聚类分析实质上是寻找一种能客观反映元素之间亲疏关系的统计量，然后根据这种统计量把元素分成若干类。 常用的聚类统计量有距离系数和相似系数两类。距离系数一般用于对样品分类，而相似系数一般用于对变量聚类。 距离的定义很多，如马氏距离、明考斯基距离、兰氏距离、切比雪夫距离以及常见的欧氏距离： 相似系数有相关系数、夹角余弦、列联系数等。 8.1.2 系统聚类法的基本思想和步骤 下面以样品聚类为例介绍系统聚类法。 系统聚类法的基本思想 设有n个样品，每个样品测得m项指标（见表8-1）。系统聚类方法的基本思想是：首先定义样品间的距离（或相似系数）和类与类之间的距离。一开始将n个样品各自自成一类，这时类间的距离与样品间的距离是等价的；然后将距离最近的两类合并，并计算新类与其他类的类间距离，再按最小距离准则并类。这样每次减少一类，直到所有的样品都并成一类为止。这个并类过程可以用谱系聚类图形象地表达出来。 根据类间距离计算方法的不同，有11种不同的聚类方法： (1) 类平均法 类平均法(Average Linkage)用两类样品两两观测间距离的平均作为类间距离。类平均法是一种应用较广泛，聚类效果较好的方法 (2) 重心法 重心法(Centroid Method)用两个类重心(均值)之间的（平方）欧氏距离定义类间距离 (3) 最长距离法 最长距离法(Complete Method)用两类观测间最远一对观测的距离定义类间距离 (4) 最短距离法 最短距离法(Single Linkage) 用两类观测间最近一对观测的距离定义类间距离 (5) Ward最小方差法（离差平方和法） Ward最小方差法(Wards Mininum-Variance Method)也称Ward离差平方和法。 Ward方法并类时总是使得并类导致的类内离差平方和增量最小。 还有 最大似然法(EML)法 可变类平均法(Flexible-Beta Method) McQuitty相似分析法(McQuitty‘s Similarity Analysis) 中间距离法(Median Method) 两阶段密度估计法(Two –Stage Density Linkage)等。 类平均法和Ward最小方差法使用最广泛。 最短距离分类的基本原理 例:为考察公司的经营业绩并对其分类,可依据它们的年盈利额进行归类. 最短距离分类的基本原理 例：为考察投资者的盈利能力，从资金的投入和回报两方面进行考察 系统聚类流程图 4