多元统计分析 第5章 聚类分析.pptVIP

* Distance is just once way of measuring dissimilarity (wiki). Changed “register only the distance” to “registers only the difference” or “dissimiarity”? * * MK: I tried to change equations so as to match notation in book, but each time I try to install the equation editor, it fails! Agh! * * * * MK: For lecture, this may be OK here, but I think discussion of standardization/normalization is better kept all together in Chapter 3 * * MK: Machine learning used the term “feature VECTORS” I made some changes to the wording of this slide because it implied that our previous data were not vectors, but they were all feature vectors. I also changed the example since the one used was from Tan’s book (see next slide). Chapter 3: Statistics Methods Co-variance distance K-L divergence * 09/09/25MK: New example (previous one was from Tan’s book). Chapter 3: Statistics Methods Co-variance distance K-L divergence 第二步：计算某个样品到各类中心的欧氏平方距离，然后将该样品分配给最近的一类。对于样品有变动的类，重新计算它们的中心坐标，为下一步聚类做准备。 先计算A到两个类的平方距离： 由于A到（A、B）的距离小于到（C、D）的距离，因此A不用重新分配； 计算B到两类的平方距离： 对C、D同样（略） K均值聚类分析 由于B到（A、B）的距离大于到（C、D）的距离，因此B要分配给（C、D）类，得到新的聚类是（A）和（B、C、D） 更新中心坐标： K均值聚类分析 第三步：再次检查每个样品，以决定是否需要重新分类。计算各样品到各中心的距离平方： 发现：每个样品都已经分配给距离中心最近的类，聚类过程到此结束 最终得到K=2的聚类结果是A独自成一类，B、C、D聚成一类 K均值聚类分析 K均值聚类分析 系统聚类与K均值聚类都是距离度量类聚类方法 系统聚类对不同的类数产生一系列的聚类结果 K—均值法只能产生指定类数的聚类结果 具体类数的确定？ 实践经验的积累（机理研究） 借助系统聚类法以一部分样品为对象进行聚类，其结果作为K—均值法确定类数的参考 优点: 相对有效性: O(tkn), 其中 n 是对象数目, k 是簇数目, t 是迭代次数; 通常：k, t n. 比较: PAM: O(k(n-k)2), CLARA: O(ks2 + k(n-k)) PAM (Partitioning Around Medoid,围绕代表点的划分) CLARA (Clustering LARge Applications) 当结果簇是密集的，而簇与簇之间区别明显时，它的效果较好 K均值聚类分析 弱点 只有在簇的平均值(mean)被定义的情况下才能使用.可能不适用于某些应用 涉及有分类属性的数据 需要预先指定簇的数目k 不能处理噪音数据和孤立点(outliers) 常常终止于局部最优（初值依赖）. 尝试不同的初值 全局最优 可以使用诸如模拟退火(simulated annealing)和遗传算法(genetic algorithms)等技术得到 K均值聚类分析 K均值方法的变种, 它们在以下方面有所不同 初始k个平均值的选择 距离的度量 计算聚类平均值的策略 处理分类属性: k- 模(k-modes) 方法(Huang’98) 用模(modes众数)替代聚类的平均值 使用新的距离度量方法来处理分类对象 用基于频率的方法 k-原型(k-prototype)方法: k-平均和k-模的结合, 处理具有数值和分类属性的数据 K均