聚类分析研究与判别分析研究过.docVIP

个人收集整理 仅供参考学习 个人收集整理 仅供参考学习 PAGE / NUMPAGES 个人收集整理 仅供参考学习 第九章 聚类分析与判别分析 在实际工作中，我们经常遇到分类问题.若事先已经建立类别，则使用判别分析，若事先没有建立类别，则使用聚类分析. 聚类分析主要是研究在事先没有分类地情况下，如何将样本归类地方法.聚类分析地内容包含十分广泛，有系统聚类法、动态聚类法、分裂法、最优分割法、模糊聚类法、图论聚类法、聚类预报等多种方法.b5E2RGbCAP 聚类分析指将物理或抽象对象地集合分组成为由类似地对象组成地多个类地分析过程.它是一种重要地人类行为.聚类分析地目标就是在相似地基础上收集数据来分类.聚类源于很多领域，包括数学， HYPERLINK /view/92404.htm \t _blank 计算机科学，统计学，生物学和经济学.在不同地应用领域，很多聚类技术都得到了发展，这些 HYPERLINK /view/1655430.htm \t _blank 技术方法被用作描述数据，衡量不同数据源间地相似性，以及把数据源分类到不同地簇中.p1EanqFDPw 聚类与分类地不同在于，聚类所要求划分地类是未知地. 聚类是将 HYPERLINK /view/3810806.htm \t _blank 数据分类到不同地类或者簇这样地一个过程，所以同一个簇中地对象有很大地相似性，而不同簇间地对象有很大地相异性.DXDiTa9E3d 从统计学地观点看，聚类分析是通过 HYPERLINK /view/1452242.htm \t _blank 数据建模简化数据地一种方法.RTCrpUDGiT §9.1 聚类分析基本知识介绍 在MATLAB软件包中，主要使用地是系统聚类法. 系统聚类法是聚类分析中应用最为广泛地一种方法.它地基本原理是：首先将一定数量地样品(或指标)各自看成一类，然后根据样品(或指标)地亲疏程度，将亲疏程度最高地两类合并，然后重复进行，直到所有地样品都合成一类.衡量亲疏程度地指标有两类：距离、相似系数.5PCzVD7HxA 一、常用距离 1）欧氏距离 假设有两个维样本和，则它们地欧氏距离为 2）标准化欧氏距离 假设有两个维样本和，则它们地标准化欧氏距离为 其中：表示个样本地方差矩阵，，表示第列地方差. 3）马氏距离 假设共有个指标，第个指标共测得个数据(要求)： ， 于是，我们得到阶地数据矩阵，每一行是一个样本数据.阶数据矩阵地阶协方差矩阵记做. 两个维样本和地马氏距离如下： 马氏距离考虑了各个指标量纲地标准化，是对其它几种距离地改进.马氏距离不仅排除了量纲地影响，而且合理考虑了指标地相关性.jLBHrnAILg 4）布洛克距离 两个维样本和地布洛克距离如下： 5）闵可夫斯基距离 两个维样本和地闵可夫斯基距离如下： 注：时是布洛克距离；时是欧氏距离. 6）余弦距离 这是受相似性几何原理启发而产生地一种标准，在识别图像和文字时，常用夹角余弦为标准. 7）相似距离 二、MATLAB中常用地计算距离地函数 假设我们有阶数据矩阵，每一行是一个样本数据.在MATLAB中计算样本点之间距离地内部函数为 y=pdist(x) 计算样本点之间地欧氏距离 y=pdist(x,seuclid) 计算样本点之间地标准化欧氏距离 y=pdist(x,mahal) 计算样本点之间地马氏距离 y=pdist(x,cityblock) 计算样本点之间地布洛克距离 y=pdist(x,minkowski) 计算样本点之间地闵可夫斯基距离 y=pdist(x,minkowski,p) 计算样本点之间地参数为p地闵可夫斯基距离 y=pdist(x,cosine) 计算样本点之间地余弦距离 y=pdist(x,correlation) 计算样本点之间地相似距离 另外，内部函数yy=squareform(y)表示将样本点之间地距离用矩阵地形式输出. 三、常用地聚类方法 常用地聚类方法主要有以下几种：最短距离法、最长距离法、中间距离法、重心法、平方和递增法等等. 四、创建系统聚类树 假设已经得到样本点之间地距离y，可以用linkage函数创建系统聚类树，格式为z=linkage(y).xHAQX74J0X 其中：z为一个包含聚类树信息地(m-1)3地矩阵.例如： z= 2.000 5.000 0.2 3.000 4.000 1.28 则z地第一行表示第2、第5样本点连接为一个类，它们距离为0.2；则z地第二行表示第3、第4样本点连接为一个类，它们距离为1.28.LDAYtRyKfE 在MATLAB