张素文-第5章 特征提取讲解.ppt

1．K-L展开式 aj：随机系数； 用有限项估计X时 ： 引起的均方误差： 代入X、 ，利用 维数 由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 * * 第5章 特征选择与特征提取 5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取 第5章 特征选择与特征提取 5.1 基本概念 ① 由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。 ② 能获得的测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。 特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确。 1．两种数据测量情况 (1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。 2．对特征的要求 3. 特征选择和特征提取的异同 （1）特征选择：从L个度量值集合 中按一定准 则选出供分类用的子集，作为降维（m维，m L）的分类 特征。 （2）特征提取：使一组度量值 通过某种变换 产生新的m个特征 ，作为降维的分类特征， 其中 。 (c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。 B A 解：[法1] ① 特征抽取：测量三个结构特征 (a) 周长 (b) 面积 (c)两个互相垂直的内径比 —— 特征选择：一般根据物理特征或结构特征进行压缩。 ② 分析： 例：特征选择与特征提取的区别：对一个条形和圆进行识别。 当模式在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。 [法2]：① 特征抽取：测量 物体向两个坐标轴的投影 值，则A、B各有2个值域区 间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。 ② 分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等。根据物体在x2?轴上投影的坐标值的正负可区分两个物体。 ——特征提取，一般用数学的方法进行压缩。 B A B A 5.2 类别可分性测度 5.2.1 基于距离的可分性测度 类别可分性测度：衡量类别间可分性的尺度。 相似性测度：衡量模式之间相似性的一种尺度 类内距离和类间距离 类概率密度函数 类别可 分性测度 空间分布： 随机模式向量： 错误率 与错误率有关的距离 1．类内距离和类内散布矩阵 1) 类内距离：同一类模式点集内，各样本间的均方距离。 平方形式： Xi,，Xj： n维模式点集{X}中的任意两个样本 。 特征选择和提取的结果应使类内散布矩阵的迹愈 ？愈好。 特征选择和提取的结果应使类内散布矩阵的迹愈 小愈好。 若{X}中的样本相互独立，有 式中，R：该类模式分布的自相关矩阵； M：均值向量； C：协方差矩阵； ：C主对角线上的元素，表示模式向量第k个分量的方差； tr：矩阵的迹（方阵主对角线上各元素之和）。 2) 类内散布矩阵：表示各样本点围绕均值的散布情况 ——该类分布的协方差矩阵。 cov(X,Y)=E(XY)-E(X)E(Y) 类间散布矩阵的迹愈大愈有利于分类。 2．类间距离和类间散布矩阵 1) 类间距离：模式类之间的距离，记为 。 每类模式均值向量与模式总体均值向量之间平方距离的先验概率加权和。 2) 类间散布矩阵：表示c类模式在空间的散布情况，记为Sb。 类间散布矩阵的迹愈？愈有利于分类。 3) 类间距离与类间散布矩阵的关系： 注意：与类间距离的转置位置不同。 （5-8） 1)多类模式向量间的平均平方距离Jd 任意类的组合 特定两类间任意样本的组合 3．多类模式向量间的距离和总体散布矩阵 得 某类类