第二统计模式识别基础精要.ppt

模式识别，第二章 * 统计模式识别基础 非参数估计法 几乎无先验知识，类概率密度函数形式均末知 直接由学习样本进行分类器设计 线性判别函数 基于对学习样本的分析，得到线性判别函数 由线性判别函数决定的分界面，将特征空间划分为若干区域 根据待识样本落入哪个区域来进行分类 模式识别，第二章 * 统计模式识别基础 鲑 鱼 鲈 鱼 线性判别函数 决定的分界面 模式识别，第二章 * 影响模式识别的关键因素 模式的紧致性问题 若将模式类视为集合，则集合中的点可分为两类：内点和临界点 内点：与该点相邻的点（距离最近的点）仍然属于该点所在的集合 临界点：与该点相邻的点属于另外的集合（模式类）。 模式识别，第二章 * 影响模式识别的关键因素 模式的紧致性问题 若将模式类视为集合，则集合中的点可分为两类：内点和临界点 内点：与该点相邻的点（距离最近的点）仍然属于该点所在的集合 临界点：与该点相邻的点属于另外的集合（模式类）。 模式识别，第二章 * 影响模式识别的关键因素 模式的紧致性问题 无临界点 临界点较少 临界点多得无法 进行分类 模式识别，第二章 * 影响模式识别的关键因素 模式的紧致性问题 紧致集：指满足下列条件的模式类 临界点的数量与总的样本点数相比很少 每个内点对都有足够大的邻域，使得该邻域内的点都在同一集合 假若每一模式类都满足紧致集的假设，则模式识别并不存在多大困难，但对于许多识别问题，该假设并不成立。 模式识别，第二章 * 影响模式识别的关键因素 解决问题的途径 通过空间变换或映射来解决，不满足紧致性假设的模式类映射到另外的几何空间可能就满足紧致性。 如何进行特征空间变换或映射？ 模式识别，第二章 * 影响模式识别的关键因素 解决问题的途径 选择更为有效的特征。如何有效选择有效特征？ 尽量选择反映共性，突出异性的特征，即类间距离越大越好，类内距离越小越好。 尽量选择统计无关的特征，减少信息冗余。 在相同错误概率条件下，选择维数较小的特征。 根据识别对象的特点，选择反映事物本质特性的参数作为特征（例，语音的音调周期，声道参数等） 模式识别，第二章 模式识别Pattern Classification 第二章:统计模式识别基础 模式识别，第二章 * 基本概念 观测向量 对样本进行观测、采样、量化得到的原始数据构成的向量 观测空间 由观测向量的维数决定的m维几何空间 观测向量 观测值 模式识别，第二章 * 基本概念 特征向量 对观测向量进行特征选择和提取，得到反映事物本质特性的特征构成的向量 特征空间 由特征向量的维数决定的n维几何空间（nm），每个特征向量即是特征空间中的一个点 特征向量 特征值 模式识别，第二章 * 特征空间 模式识别，第二章 * 特征空间 鲑 鱼 鲈 鱼 模式识别，第二章 * 基本概念 特征选择 去除次要的特征，筛选出重要的特征 特征提取 通过压缩变换或映射，降低特征维数 模式识别，第二章 * 基本概念 模式识别的基本思路 相似的归为一类 相似度测度 模式识别，第二章 * 基本概念 相似度测度 即样本与样本的相似程度，是模式识别的重要分类依据 通常以样本特征向量在特征空间中的距离作为样本的相似度 样本相似度 欧氏距离 平方和距离 绝对值距离 加权距离 模式识别，第二章 * 基本概念 欧氏距离 设有两个n维特征向量X1和 X2 则此二样本的欧氏距离定义为： X1 X2 模式识别，第二章 * 基本概念 非标准欧氏距离 时，即为欧氏距离 模式识别，第二章 * 基本概念 绝对值距离（曼哈顿距离） 平方和距离 模式识别，第二章 * 欧氏距离、曼哈顿距离和一种非欧氏距离 模式识别，第二章 * 基本概念 加权距离 可根据各个特征在识别中的重要程度设置各加权系数 模式识别，第二章 * 基本概念 模板匹配法 统计决策方法的特殊情况，也是最简单的情况 待分类的每一类模式只有一个唯一的标准（印刷体字符、标准普通话） 模式识别，第二章 * 模板匹配法原理及过程 学习过程 对每一类已知类的学习样本进行特征提取，得到模板向量X1， X2， ﹒﹒﹒ XC（C为类别数） 设置识别门限值ε 以待识样本与模板向量之间的相似度（距离）为识别准则 模式识别，第二章 * 模板匹配法原理及过程 识别过程 对待识样本进行特征提取，得到特征向量X 计算待识样本特征向量X与模板向量X1， X2， ﹒﹒﹒ XC之间的距离 D1， ，﹒﹒﹒，DC 若Di = min { Dj }，j=1, 2 , ﹒﹒﹒,C，且 Di ε，则判样本Ｘ属于第i类,，记为X ∈ ωi 若所有Di（ i=1, 2 , ﹒﹒﹒,C ）均大于ε，则拒识。