第8章特征的选择与提取(特征提取)讲述.ppt

按欧氏距离度量的特征提取方法 使用J2判据进行特征提取 则选前d个本征值对应的本征向量作为W 即: W =[μ1， μ 2 … μ d] 此时: J2 (W) = λ1+ λ2 + … + λd 按欧氏距离度量的特征提取方法 例 协方差矩阵是： 给定先验概率相等的两类，其均值向量分别为： 求用J2判据的最优特征提取 按欧氏距离度量的特征提取方法 例 解： 根据前面的分析，应先求 再求此矩的特征矩阵 今有混合均值 类间离散度矩阵： 按欧氏距离度量的特征提取方法 例 解： 则 类内离散度矩阵 按欧氏距离度量的特征提取方法 例 解： 需求 ?????? 的特征值矩阵 的秩是1 只有一个非零特征值 解方程: 得到 因此利用W向量对原始的样本进行线性变换，得到新的一维分布，特征空间降到一维，并满足J2判据。 8.3.2按概率距离判据提取特征 这一节只是在正态分布条件下的一种特殊情况进行分析，不作基本要求。 8.3.3 特征提取方法小结 特征提取方法从其工作原理来看可以分成两大类 对样本在特征空间分布的距离度量 其基本思想是通过原有特征向量线性组合而成新的特征向量 做到既降维，又能尽可能体现类间分离，类内聚集的原则 特征提取方法小结 对样本在特征空间分布的距离度量 在欧氏距离度量的条件下所提出的几种判据都是从这一点出发的 特征提取方法小结 从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取 这类判据由于与错误率之间可能存在单调或上界关系等，因此从错误率角度考虑有一定的合理性 但是使用这种方法需要有概率分布的知识，并且只是在概率分布具有简单形式时，计算才比较简便 特征提取方法小结 从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取 熵概念的运用是描述概率分布另一种有用的形式 利用熵原理构造的判据，进行特征提取 特征提取方法小结 各个方法中都有一个共同的特点 即判别函数的极值往往演变为找有关距阵的特征值与特征向量，由相应的特征向量组成坐标系统的基向量 计算有关矩阵的特征值矩阵与特征向量，选择前d个大特征值，以它们相应的特征向量构成坐标系统 这是大部分特征提取方法的基本做法。 特征选择方法不相同 特征提取方法小结 在特征提取方法中希望所使用的各种判据能够满足以下几点要求： (1) 与错误概率或其上界或下界有单调关系 (2) 判据在特征独立时有可加性 　 特征提取方法小结 在特征提取方法中希望所使用的各种判据能够满足以下几点要求： (3)可分性判别应满足可分性，及对称性 特征提取方法小结 在特征提取方法中希望所使用的各种判据能够满足以下几点要求： (4) 单调性 是指维数增多时，判据值不应减少。 主成分分析 PCA Principle Component Analysis 通过k-l变换实现主成分分析 K-L变换 特征提取思想 用映射（或变换）的方法把原始特征变换为较少的新特征 降维 主成分分析(PCA)基本思想 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。 希望找到一种能量最为集中的的变换方法使损失最小 K-L变换 原始输入: x 变换后特征:y 变换矩阵(线性变换):A 则: y=ATx K-L变换 思考: 希望特征之间关联性尽可能小 变换后的相关矩阵: Ry≡E[yyT] =E[ATxxTA] =ATRxA 如果不同的y特征都不相关，则Ry是个什么样的矩阵？ 对角矩阵？如何选择A? K-L变换 考虑以Rx的特征向量作为A的列，则 Ry=ATRxA = [a1,a2……an] TRx [ a1,a2……an] = [ a1,a2……an] T [λ 1a1, λ2a2……λnan] =? ?为对角矩阵，对角线元素为λ 1, λ2……λn 达到变换后特征不相关的目的 以上为K-L变换 K-L变换 思考K-L变换性质: 如果降维，有什么结果 原有N维，只保留m维，即去掉ym+1……yN 希望:和原来的表示方法差别最小 即:E[||x-x’||2] 最小 x’表示[y1……ym]在原空间中对应的表示方法 K-L变换 K-L变换 结论 如果对特征向量排序，舍到最小的特征，则损失的能量最小 K-L变换典型应用 1．降维与压缩 对一幅人脸图象，如果它由M行与N到象素组成，则原始的特征空间维数就应为M×N。 而如果在K-L变换以及只用到30个基，那么维数就降至30，由此可见降维的效果是极其明显的。 譬如原训练样本集的数量为V，而现采用30个基，数据量是大大降低 K-L变换典型应用 2．构造参数模型 使用K-L变换不仅仅起到降维与压缩数据的作用，