模式识别聚类分析.pptVIP

第二章 聚类分析 分类与聚类的区别 分类：用已知类别的样本训练集来设计分类器（监督学习） 聚类（集群）：用事先不知类别的样本，而利用样本的先验知识来构造分类器（无监督学习） 2.1聚类分析的概念 基本思想： 对一批没有标明类别及类数的模式样本集，根据模式间的相似程度，按照物以类聚、人以群分的思想，将相似的模式分为一类，不相似的分为另一类。 特征的类型 1.低层特征： ①无序尺度：有明确的数量和数值。 ②有序尺度：有先后、好坏的次序关系，如酒 分为上，中，下三个等级。 ③名义尺度：无数量、无次序关系，如有红， 黄两种颜色 2. 中层特征：经过计算，变换得到的特征 3. 高层特征：在中层特征的基础上有目的的经过运 算形成 例如：椅子的重量=体积*比重 体积与长，宽，高有关；比重与材料，纹理，颜色有关。这里低、中、高三层特征都有了。 方法的有效性 特征选取不当 特征过少 特征过多 量纲问题 主要聚类分析技术 谱系法（系统聚类，层次聚类法） 基于目标函数的聚类法（动态聚类） 图论聚类法 模糊聚类分析法 2.2模式相似度度量 各种距离表示相似性： ① 绝对值距离 已知两个样本 xi=(xi1, xi2 , xi3,…,xin)T xj=(xj1, xj2 , xj3,…,xjn)T ② 欧几里德距离 ③明考夫斯基距离 其中当q=1时为绝对值距离，当q=2时为欧氏距离 ④ 切比雪夫距离 q趋向无穷大时明氏距离的极限情况 ⑤ 马哈拉诺比斯距离 其中xi ，xj为特征向量， 为协方差。使用的条件是 样 本符合正态分布 ⑥ 夹角余弦 为xi xj的均值 即样本间夹角小的为一类，具有相似性 例： x1 , x2 , x3的夹角如图： 因为x1 , x2 的夹角小，所以x1 , x2 最相似。 ⑦ 相关系数 为xi xj的均值 注意：在求相关系数之前，要将数据标准化 2.3类的定义和与类间距离 用距离进行定义类（书19） 非监督学习方法分类 1、基于概率密度函数估计的直接方法 2、基于样本间相似性度量的间接聚类方法 两类间的距离 1、最短距离：两类中相距最近的两样品间的距离。 6、 离差平方和： 设N个样品原分q类，则定义第i类的离差平方和为： 离差平方和增量：设样本已分成ωp,ωq两类，若把ωp,ωq合为ωr类，则定义离差平方： 聚类准则 类内距离越小越好 类间距离越大越好 一些准则函数 聚类分析三要素 相似性测度 聚类准则 聚类算法 2.4 聚类的算法 §系统聚类的算法 3、求最小元素： 4、把ω1,ω3合并ω7=(1,3) ω4,ω6合并ω8=(4,6) 5、作距离矩阵D(1) 6、若合并的类数没有达到要求，转3。否则停止。 3、求最小元素： 4、ω8,ω5,ω2合并, ω9=（2,5,4,6） § 分解聚类 分解聚类：把全部样本作为一类，然后根据相似性、相邻性分解。 目标函数 两类均值方差 分解聚类框图： 对分算法：略 例：已知21个样本，每个样本取二个特征，原始资料矩阵如下表： 2、分别计算当 划入 然后再把 划入 时对应的E值，找出一个最大的E值。 把 划为 的E值最大。 ∴ 次数 E值 1 56.6 2 79.16 3 90.90 4