3.4-聚类分析幻灯片.pptVIP

在如上的并类过程中出现这样一个问题：两类之间如何度量其相似程度?为此，需要引进两类之间的“距离”或“相似系数”的概念。 正如样品之间的距离可以有不同的定义方法一样，类与类之间的距离也有各种定义。例如可以定义类与类之间的距离为两类之间最近样品的距离，或者定义为两类之间最远样品的距离，也可以定义为两类重心之间的距离等等。类与类之间用不同的方法定义距离，就产生了不同的系统聚类方法。 八种系统聚类方法 系统聚类分析尽管方法很多，但归类的步骤基本上是一样的，所不同的仅是类与类之间的距离有不同的定义方法，从而得到不同的计算距离的公式。这些公式在形式上不大一样，但最后可将它们统一为一个公式，对上机计算带来很大方便 。 最短距离法 最长距离法 中间距离法 重心法 类平均法 可变类平均法 可变法 离差平方和法 系统聚类法的具体步骤： 其它的聚类方法还有EML法、可变类平均法（FLEXIBLE）、McQuitty相似分析法（MCQUITTY ）、中间距离法（MEDIAN）、两阶段密度估计法（TWOSTAGE）等。 七、谱系聚类类数的确定 谱系聚类最终得到一个聚类树，可以把所有观测聚为一类。到底应该把观测分为几类是一个比较困难的问题，因为分类问题本身就是没有一定标准的。关于这一点《实用多元统计分析》（王学仁、王松桂，上海科技出版社）第十章给出了一个很好的例子，即扑克牌的分类。我们可以把扑克牌按花色分类，按大小点分类，按桥牌的高花色低花色分类，等等。 决定类数的一些方法来自统计方差分析的思想，在这里作一些简单介绍。 聚类分析中，类的个数如何确定的问题是一个十分困难的问题，人们至今仍未找到令人满意的方法；但这又是一个不可回避的问题。 迄今为止，只是直观地叙述了“类”的概念，并未给出严格的定义，但要对各种不同的类给予统一的定义是比较困难的， “类”的概念是一个模糊的概念。当然可以从不同的角度给出类的不同定义，但在实际应用中，人们并不完全从类的定义来确定类。下面介绍几种确定类个数的常见方法。 1、由适当的阀值确定 选定某种聚类方法，按系统聚类的步骤并类后， 得到一张谱系聚类图。聚类图(或简称谱系图)只 反映样品间(或变量间)的亲疏关系，它本身并没 有给出分类，需要规定一个临界相似性尺度，用 以分割谱系图而得到样品(或变量)的分类。 比如用最短距离法得谱系聚类图，给定临界值(阀值) d＝2.01，其含义为样品间绝对距离＜2.01时认为这些样品间关系密切，应归属同一类。阀值可在观察聚类图（树形图）的基础上根据经验确定。 2、根据数据点的散布图直观地确定类的个数 如果考察的指标只有二个(m＝2)，则可通过数 据点的散布图直观地确定类的个数。如果有三个 变量，可以绘制三维散布图并通过旋转三维坐标 轴由数据点的分布来确定应分几个类(使用SAS软 件)。当考察的指标在三个以上时，可以由这些指 标综合出二个或三个综合变量后再绘制数据点在 综合变量上的散布图，直观地确定分类个数。（观察法） 第四节 聚类分析 一、什么是聚类分析? 聚类分析又称群分析，它是研究(样品或指标)分类问题的一种多元统计方法，所谓类，通俗地说，就是指相似元素的集合。 聚类分析起源于分类学，在考古的分类学中，人们主要依靠经验和专业知识来实现分类。 随着生产技术和科学的发展，人类的认识不断加深，分类越来越细，要求也越来越高，有时光凭经验和专业知识是不能进行确切分类的，往往需要定性和定量分析结合起来去分类。 于是数学工具逐渐被引进分类学中，形成了数值分类学。后来随着多元分析的引进，聚类分析又逐渐从数值分类学中分离出来而形成一个相对独立的分支。 与其他多元分析方法相比，聚类分析方法较为粗糙，理论上还不够完善，正处于不断发展阶段。 但是，由于该方法应用方便，分类效果较好，因此越来越为人们所重视。近些年来聚类分析的方法发展较快，内容越来越丰富。 社会经济领域中存在着大量分类问题 例如：对我国31个省市自治区独立核算工业企业经济效益进行分析。 一般不是逐个省市自治区去分析，而较好地做法是选取能反映企业经济效益的代表性指标。如：百元固定资产实现利税、资金利税率、产值利税率、百元销售收入实现利润、全员劳动生产率等等。 根据这些指标对31个省市自治区进行分类，然后根据分类结果对企业经济效益进行综合评价，易于得出科学的结论。 又如：若对某些大城市的物价指数进行考察。 物价指数很多，有农用生产物价指数、服务项目物价指数、食品消费物价指数、建材零售价格指数等等。由于要考察的物价指数很多，通常先对这些物价指数进行分类。 因此聚类分析这个有用的数学工具越来越受到人们的重视，它在许多领域中都得到了广泛的应用。 值得提出的是将聚类分析和其它方法联合起来使用，