模式识别——哈工大航天学院-2013秋季硕士.ppt

国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 【分级聚类方法 】 思想：从各类只有一个样本点开始，逐级合并，每级只合并两类，直到最后所有样本都归到一类。 Hierarchical tree -- dendrogram 聚类过程中逐级考查类间相似度，依此决定类别数 树枝长度：反映结点/树枝之间的相似度或距离 树枝位置：在不改变树结构情况下可以任意调整，调整方法需研究 距离/相似性度量：多种选择，如欧式距离、相关、City Block、… 【分级聚类方法 】 距离（相似性度量）： 样本之间的度量 聚类之间的度量 算法（从底向上）： （1）初始化，每个样本形成一类 （2）把相似性最大（距离最小）的两类合并 （3）重复（2），直到所有样本合并为两类。 【分级聚类方法 】 【分级聚类方法 】 哈尔滨工业大学 第11章 模糊模式识别 1. 引言 2. 模糊集的基本知识 3. 模糊特征和模糊分类 4. 特征的模糊评价 5. 模糊聚类方法 6. 模糊k 近邻分类器 【模糊C 均值方法（FCM）】 C 均值算法 【模糊C 均值】 【模糊C 均值】 【模糊C 均值】 模糊C 均值算法： 【改进的模糊C 均值算法】 模糊C 均值算法的一个缺点： 【改进的模糊C 均值算法】 【改进的模糊C 均值算法】 特点 AFC 有更好的鲁棒，且对给定的聚类数目不十分敏感。但有时可能会出现一个类中只包含一个样本的情况，可通过在距离计算中引入非线性，使之不会小于革值来改进。 ?? AFC、FCM 与C 均值一样，依赖于初值。 实验效果举例 例一：类别重迭及类别不明显情况 +：C 圴值 ×：FCM O：AFC 【改进的模糊C 均值算法】 正确聚类(C=4) CM聚类(C=3) FCM聚类(C=3) AFC聚类(C=3) 例二：给定类别数与实际类别数不一致的情况 * 改进的模糊C均值算法 改进的模糊C均值算法较前面提到的模糊C均值算法具有更好的鲁棒性，它不但可以在有孤立样本存在的情况下得到较好的聚类效果，而且可以放松隶属度条件，而且因为放松了隶属度条件，使最终聚类结果对预先确定的聚类数目不十分敏感。 与确定性C均值算法和模糊C均值算法一样，改进的模糊C均值算法仍然对聚类中心的初值十分敏感，为了得到较好的结果，可以用确定性C均值算法或模糊C均值算法的结果作为初值。 【改进的模糊C 均值算法】 哈尔滨工业大学 第12章 统计学习理论 1. 统计学习理论 2. 支持向量机 3. 核方法 2. 支持向量机 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 【基本概念】 Vapnik 与1995年提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 【基本概念】 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中 Joachims 最近采用SVM在Reuters-21578来进行文本分类，并声称它比当前发表的其他方法都好 【基本概念】 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别