特征的选择与提取特征提取.ppt

按欧氏距离度量的特征提取方法使用J2判据进行特征提取则选前d个本征值对应的本征向量作为W即:W=[μ1，μ2…μd]此时: J2(W)=λ1+λ2+…+λd第63页,共91页，星期六，2024年，5月按欧氏距离度量的特征提取方法例协方差矩阵是：给定先验概率相等的两类，其均值向量分别为：求用J2判据的最优特征提取第64页,共91页，星期六，2024年，5月按欧氏距离度量的特征提取方法例解：根据前面的分析，应先求再求此矩的特征矩阵今有混合均值类间离散度矩阵：第65页,共91页，星期六，2024年，5月按欧氏距离度量的特征提取方法例解：则类内离散度矩阵第66页,共91页，星期六，2024年，5月按欧氏距离度量的特征提取方法例解：需求??????的特征值矩阵的秩是1只有一个非零特征值解方程:得到因此利用W向量对原始的两维样本进行线性变换，得到新的一维分布，特征空间从两维降到一维，并满足J2判据。第67页,共91页，星期六，2024年，5月8.3.2按概率距离判据提取特征这一节只是在正态分布条件下的一种特殊情况进行分析，不作基本要求。第68页,共91页，星期六，2024年，5月8.3.3特征提取方法小结特征提取方法从其工作原理来看可以分成两大类对样本在特征空间分布的距离度量其基本思想是通过原有特征向量线性组合而成新的特征向量做到既降维，又能尽可能体现类间分离，类内聚集的原则第69页,共91页，星期六，2024年，5月特征提取方法小结对样本在特征空间分布的距离度量在欧氏距离度量的条件下所提出的几种判据都是从这一点出发的第70页,共91页，星期六，2024年，5月特征提取方法小结从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取这类判据由于与错误率之间可能存在单调或上界关系等，因此从错误率角度考虑有一定的合理性但是使用这种方法需要有概率分布的知识，并且只是在概率分布具有简单形式时，计算才比较简便第71页,共91页，星期六，2024年，5月特征提取方法小结从概率分布的差异出发，制订出反映概率分布差异的判据，以此确定特征如何提取熵概念的运用是描述概率分布另一种有用的形式利用熵原理构造的判据，进行特征提取第72页,共91页，星期六，2024年，5月特征提取方法小结各个方法中都有一个共同的特点即判别函数的极值往往演变为找有关距阵的特征值与特征向量，由相应的特征向量组成坐标系统的基向量计算有关矩阵的特征值矩阵与特征向量，选择前d个大特征值，以它们相应的特征向量构成坐标系统这是大部分特征提取方法的基本做法。特征选择方法不相同第73页,共91页，星期六，2024年，5月特征提取方法小结在特征提取方法中希望所使用的各种判据能够满足以下几点要求：(1)与错误概率或其上界或下界有单调关系(2)判据在特征独立时有可加性第74页,共91页，星期六，2024年，5月特征提取方法小结在特征提取方法中希望所使用的各种判据能够满足以下几点要求：(3)可分性判别应满足可分性，及对称性第75页,共91页，星期六，2024年，5月特征提取方法小结在特征提取方法中希望所使用的各种判据能够满足以下几点要求：(4)单调性是指维数增多时，判据值不应减少。第76页,共91页，星期六，2024年，5月主成分分析PCAPrincipleComponentAnalysis通过k-l变换实现主成分分析第77页,共91页，星期六，2024年，5月K-L变换特征提取思想用映射（或变换）的方法把原始特征变换为较少的新特征降维主成分分析(PCA)基本思想进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小第78页,共91页，星期六，2024年，5月K-L变换原始输入:x变换后特征:y变换矩阵(线性变换):A则:

y=ATx第79页,共91页，星期六，2024年，5月K-L变换思考:希望特征之间关联性尽可能小变换后的相关矩阵: Ry≡E[yyT] =E[ATxxTA] =ATRxA我们是不是希望Ry是个对角矩阵？如何选择A?第80页,共91页，星期六，2024年，5月K-L变换考虑以Rx的特征向量作为A的列，则 Ry=ATRxA =[a1,a2……an]TRx[a1,a2……an] =[a1,a2……an]T[λ1a1,λ