第六讲 聚类分析第六讲 聚分析类分析.ppt

第六讲 聚类分析 第一节 概述（什么是聚类） 第二节 相似性度量 第三节 系统聚类法 第四节 K均值聚类 俗话说“物以类聚，人以群分”。就是聚类分析的道理。 市场营销中市场细分和客户细分问题 学校里有些同学经常会在一起，关系密切；有些同学很少往来，关系疏远。 例 对10位应聘者做智能检验。3项指标X，Y和Z分别表示数学推理能力，空间想象能力和语言理解能力。其得分如下，选择合适的统计方法对应聘者进行归类。 聚类分析数据格式 例题分析 我们直观地来看，这个归类是否合理？ 计算4号和6号得分的离差平方和： (21-20)2+(23-23)2+(22-22)2=1 计算1号和2号得分的离差平方和： (28-18)2+(29-23)2+(28-18)2=236 计算1号和3号得分的离差平方和为482，由此可见一般，归类可能是合理的，欧氏距离很大的应聘者没有被聚在一起。 由此，我们的问题是如何来选择样品间相似的测度指标，如何将有相似性的类连接起来？ 聚类分析基本思想及原则 基本思想：根据事物本身的特性研究个体分类的方法；即在没有先验知识的情况下进行的。多元统计分析方法就是对样品或指标进行量化分类的问题，它们讨论的对象是大量的样品，要求能合理地按各自的特性来进行合理的分类，没有任何模式可供参考或依循。 聚类原则：同一类中的个体有较大的相似性，不同类中的个体差异很大。 常见方法：Q型聚类法、R型聚类法、灰色聚类法和模糊聚类法等。 聚类的程序 基本程序：根据一批样品的多个观测指标，具体地找出一些能够度量样品或指标之间相似程度的统计量，然后利用统计量将样品或指标进行归类。 如对上市公司的经营业绩进行聚类；又如对企业的经济效益进行评价 由此可知，聚类分析（Cluster Analysis)也是一种分类技术。与多元分析的其他方法相比，该方法较为粗糙，理论上还不完善，但应用方面取得了很大成功。与多元假设检验、回归分析等一起被称为多元分析的三大方法。 聚类分析的步骤：根据已知数据，计算各观察个体或变量之间亲疏关系的统计量。根据某种准则，使同一类内的差别较小，而类与类之间的差别较大，最终将观察个体或变量分为若干类。 思考：样品点间、样品点和小类之间、小类与小类之间按什么刻画亲疏关系 第二节 “亲疏程度”度量 一、变量测量尺度的类型 二、亲疏程度的测度 三、样品与小类、小类与小类 之间“亲疏程度”的度量方法 四、聚类分析的几点说明 一、变量测量尺度的类型 (1)间隔尺度(Scale)：用数量来表示，其数值由测量（连续）或计数（离散）、统计得到。 (2)顺序尺度(Ordinal)：没有明确的数量表示，只有次序关系，或虽用数量表示，但相邻两数值之间的差距并不相等，它只表示一个有序状态序列。如评价酒的味道，分成好、中、次三等，三等有次序关系，但没有数量表示。 （3)名义尺度(Nominal)：既没有数量表示也没有次序关系，只有一些特性状态。如眼睛的颜色，化学中催化剂的种类等。 二、亲疏程度的测度 亲疏程度：包含个体间的相似程度和个体间的差异程度 亲疏程度测定方法： 距离：样品间的聚类，Q型聚类分析。 相似系数：变量间的聚类， R型聚类分析。 2、常用距离的算法（数值型变量） 设 和 是第i和 j 个样品的观测值，则二者之间的距离为： 闵可夫斯基距离缺点 ①与指标量纲有关 ②未考虑总体变异对“距离”远近的影响。 (2)马氏距离（广义欧氏距离） 是印度著名统计学家马哈拉诺比斯(P．C．Mahalanobis)所定义的一种距离。 特点： 考虑了观测变量之间的相关性。如果各变量间相互独立，即观测变量的协方差矩阵是对角矩阵，则马氏距离就退化为用各个观测指标的标准差的倒数作为权数进行加权的欧氏距离。 考虑到了各个观测指标取值的差异程度，不再受各指标量纲的影响。将原始数据做线性变换后，马氏距离不变。 为了对马氏距离和欧氏距离进行一下比较，以便更清楚地看清二者的区别和联系，现考虑一个例子。 切比雪夫距离：(Chebychev) 3、距离选择的原则 一般来说，同一批数据采用不同的距离公式，会得到不同的分类结果。产生不同结果的原因，主要是由于不同的距离公式侧重点和实际意义都不相同。因此我们在聚类分析时，应注意距离公式的选择。在选择距离公式时应注意以下原则： 应考虑变量类型（不同类型变量计算距离的方法不同） 所选择的亲疏测度指标在实际应用中应有明确的意义。（欧几里得距离具有明确的空间距离的概念，马氏距离有消除量纲影响的作用） 要综合考虑对样本观测数据的预处理和将要采用的聚类分析方法。（如在进行聚类分析之前已经对变量作了标准