模式识别聚类分析集群.ppt

基于阀值准则的聚类方法核函数的聚类算法样本x与聚类Ki间相似性度量:样本集Ki={xj(i)}用一个所谓的“核函数”Ki，如样本集的某种统计量第27页,共40页，星期六，2024年，5月基于阀值准则的聚类方法核函数的聚类算法第28页,共40页，星期六，2024年，5月基于准则函数的聚类方法误差平方和准则定义误差平方和准则函数为：其中C为类别数，为第i类样本，为第i类样本的均值向量,即：第29页,共40页，星期六，2024年，5月基于准则函数的聚类方法为第i类样本总数表示样本聚为C个类别（群）后，所有样本到各类中心之间误差的平方和。当最小时，即是希望的聚类结果。第30页,共40页，星期六，2024年，5月基于准则函数的聚类方法上述准则函数的值，只有在知道聚类群数，及各样本属于那一群后，才能计算欲求极小值，用穷举法是行不通的通常是应用迭代的方法来实现第31页,共40页，星期六，2024年，5月基于准则函数的聚类方法基本思想：根据一定的先验知识确定聚类的群数，并粗略找到一个初始划分结果，再由迭代算法得到最优聚类结果。第32页,共40页，星期六，2024年，5月基于准则函数的聚类方法原理：采用误差平方和准则函数第33页,共40页，星期六，2024年，5月基于准则函数的聚类方法现假定在初始划分后，将中的样本搬到中去则变为：第34页,共40页，星期六，2024年，5月基于准则函数的聚类方法则增加到第35页,共40页，星期六，2024年，5月基于准则函数的聚类方法同理，则减小到第36页,共40页，星期六，2024年，5月基于准则函数的聚类方法若减小的大于增加的，即则这次搬动改进了准则函数。第37页,共40页，星期六，2024年，5月其它聚类方法模糊聚类方法基于遗传算法的模糊聚类方法支持向量聚类方法基于网格的聚类方法基于密度的方法神经网络方法第38页,共40页，星期六，2024年，5月第39页,共40页，星期六，2024年，5月第40页,共40页，星期六，2024年，5月模式识别聚类分析集群第七章:聚类分析（集群）第2页,共40页，星期六，2024年，5月基本概念有师识别：由学习过程和识别过程两部分组成，且用于学习的样本类别是已知的。无师识别：缺少样本类别的先验知识，在样本类别未知的情况下进行分类（非监督学习方法）应用：语音识别、图像分割、遥感图像分类、数据挖掘第3页,共40页，星期六，2024年，5月基本概念聚类（集群）：根据模式之间的相似度（相似程度）对模式进行无师识别的方法相似度：衡量模式之间相似程度的尺度。聚类准则：聚类分析的同一类模式相似程度的标准或不同类模式差异程度的标准。聚类效果取决于模式的特征空间中的分布！第4页,共40页，星期六，2024年，5月相似度测量相似度测量欧氏距离（衡量两个样本之间的距离）设x１,x２为d维特征空间的模式向量，则欧氏距离直观地反映了两个样本的相似程度第5页,共40页，星期六，2024年，5月相似度测量马氏距离（衡量单个样本与某类样本，或两类样本之间的距离）第6页,共40页，星期六，2024年，5月相似度测量设x为某样本，则该样本与均值向量为μ，协方差矩阵Σ为的模式类的马氏距离为：第7页,共40页，星期六，2024年，5月相似度测量Ｄ１Ｄ２马氏距离与样本与均值向量之间的距离成正比第8页,共40页，星期六，2024年，5月相似度测量马氏距离与协方差成反比第9页,共40页，星期六，2024年，5月相似度测量而均值分别为μ1和μ2，协方差为Σ的两模式类的马氏距离为：第10页,共40页，星期六，2024年，5月聚类准则聚类准则的类型聚类准则阀值准则函数准则第11页,共40页，星期六，2024年，5月聚类准则阀值准则根据规定的距离阀值或类别数进行分类函数准则定义一个准则函数，把聚类分析问题转化为准则函数求极值的问题第12页,共40页，星期六，2024年，5月基于阀值准则的聚类方法合并聚类法定义样本间的距离：欧氏距离定义类与类之间的距离：近点距离（最短距离）远点距离（最长距离）均值距离马氏距离第13页,共40页，星期六，2024年，5月基于阀值准则的聚类方法最近距离第14页,共40页，星期六，2024年，5月基于阀值准