统计分析与方法-第七章-聚类分析课件.pptVIP

1聚类分析

2第五章把对象分类

——聚类分析

3分类俗语说，物以类聚、人以群分。当有一个分类指标时，分类比较容易。但是当有多个指标，要进行分类就不是很容易了。比如，要想把中国的县分成若干类，可以按照自然条件来分：考虑降水、土地、日照、湿度等各方面；也可以考虑收入、教育水准、医疗条件、基础设施等指标；

5聚类分析对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。对变量的聚类称为R型聚类，而对观测值聚类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。

6聚类中选择变量的要求和聚类分析的目标密切相关反映了要分类对象的特征变量之间不应该高度相关。

7如何聚类？聚类分析就是要找出具有相近程度的点或类聚为一类；如何衡量这个“相近程度”？一种方法是用相似系数，性质越接近的样品，它们的相似系数的绝对值越接近1，而彼此无关的样品，它们的相似系数的绝对值越接近于零。比较相似的样品归为一类，不怎么相似的样品归为不同的类。另一种方法是将一个样品看作p维空间的一个点，并在空间定义距离，距离越近的点归为一类，距离较远的点归为不同的类。

8距离和相似系数

10常用距离——明氏距离Minkowski距离：当q=1时：当q=2时：当q=∞时：

12当长度=cm时：

14采用明氏距离需要注意的是：一定要采用相同量纲的变量。如果各变量的量纲不同，或当各变量的量纲相同但各变量的测量值相差悬殊时，不能直接采用明氏距离。需要先对数据进行标准化处理，然后再用标准化处理后的数据计算距离。最常用的标准化处理方法是：

15对指标标准化的方法

16明氏距离的缺点另一个缺点：它没有考虑到指标之间的相关性。改进的方法是：采用马氏距离马氏距离是1936年由印度数学家：马哈拉比斯由协方差矩阵计算构造的距离。

17相似系数研究样品之间的关系，除了用距离表示外，还有相似系数，顾名思义，相似系数是描写样品之间相似程度的一个量，常用的相似系数有：夹角余弦相关系数

18相似系数夹角余弦—cosine尽管图中AB和CD长度不一样，但形状相似。当长度不是主要矛盾时，就可利用夹角余弦这样的相似系数。

20相关系数

21

23系统聚类法

24系统聚类法的基本思想先将每个研究对象(样品或指标)各自看成一类。然后根据对象间的相似度量，将h类中最相似的两类合并，组成一个新类，这样得到h-1类，再在这h-1类中找出最相似的两类合并，得到h-2类，如此下去，直至将所有的对象并成一个大类为止。当然，真的合并成一个类就失去了聚类的意义，所以上面的聚类过程应该在某个类水平数（即未合并的类数）停下来，最终的类就取这些未合并的类。决定聚类个数是一个很复杂的问题。

26系统聚类法正如样品之间的距离可以有不同的定义方法一样，类与类之间的距离也有各种定义。例如可以定义类与类之间的距离为两类之间最近样品的距离，或者定义为两类之间最远样品的距离，也可以定义为两类重心之间的距离等等。类与类之间用不同的方法定义距离，就产生了不同的系统聚类方法。

27八种系统聚类方法最短距离法最长距离法中间距离法重心法类平均法可变类平均法可变法离差平方和法系统聚类分析尽管方法很多，但归类的步骤基本上是一样的，所不同的仅是类与类之间的距离有不同的定义方法，从而得到不同的计算距离的公式。这些公式在形式上不大一样，但最后可将它们统一为一个公式，对上机计算带来很大的方便。

28系统聚类法最短距离法——NearestNeighborG1G2G3G4G5G1G2G3G4G50102.51.50653.50875.520G6G3G4G5G6G3G4G501.5053.5073.53.50

30系统聚类法重心法——CentroidClustering类平均法——Between-groupsLinkage

31系统聚类法离差平方和法——Word’sMethodWord’s法的基本思想是来自于方差分析，如果分类正确，同类样品的离差平方和应当较小，类与类的离差平方和应当较大。具体方法：先将n个样品各自成一类，然后每次缩小一类；每缩小一类离差平方和就要增大，选择使离差平方和增加最小的两类合并，直到所有的样品归为一类为止。

32系统聚类法中样品的离差平方和为：

33系统聚类法如有五个样品：1，2，3.5，7，9第一步：将五个样品各自分成一类，显然这时的类内离差平方和