模式识别-第8章 成分分析与核函数.pptx

第八章 成分分析与核函数8.0 问题的提出降低特征维数: Dimension Reduction提高泛化能力：减少模型的参数数量；减少计算量：主要方法：主成分分析(PCA): Principle Component Analysis判别分析(FDA)：Fisher Discriminant Analysis独立成分分析(ICA): Independent Component Analysis…人脸识别举例8.1 主成分分析（PCA，Principal Component Analysis）PCA：是一种最常用的线性成分分析方法；PCA的主要思想：寻找到数据的主轴方向，由主轴构成一个新的坐标系（维数可以比原维数低），然后数据由原坐标系向新的坐标系投影。PCA的其它名称：离散K-L变换，Hotelling变换；e1e2PCA的思想v2v1e1e2PCA的思想v2v1坐标变换PCA优化问题：PCA算法利用训练样本集合计算样本的均值μ和协方差矩阵Σ；计算Σ的特征值，并由大到小排序；选择前d’个特征值对应的特征矢量作成一个变换矩阵E=[e1, e2, …, ed’]；训练和识别时，每一个输入的d维特征矢量x可以转换为d’维的新特征矢量y： y = Et(x-μ)。PCA的讨论正交性：由于Σ是实对称阵，因此特征矢量是正交的；不相关性：将数据向新的坐标轴投影之后，特征之间是不相关的；特征值：描述了变换后各维特征的重要性，特征值为0的各维特征为冗余特征，可以去掉。例8.1 有两类问题的训练样本： 将特征由2维压缩为1维。e2e1x2x1特征人脸 e1 e2 e3 e4 e5 e6 e7 e8PCA重构原图像d’=1 5 10 20 50 100 200e2e18.2 基于Fisher准则的线性判别分析（FDA, Fisher Discriminant Analysis）x2x1FDA与PCAPCA将所有的样本作为一个整体对待，寻找一个平方误差最小意义下的最优线性映射，而没有考虑样本的类别属性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息；FDA则是在可分性最大意义下的最优线性映射，充分保留了样本的类别可分性信息；FDA还被称为：LDA( Linear Discriminant Analysis )。Fisher 线性判别准则样本x在w方向上的投影：类内散布矩阵：类间散布矩阵：Fisher线性判别准则：wFDA算法利用训练样本集合计算类内散度矩阵Sw和类间散度矩阵SB；计算Sw-1SB的特征值；选择非0的c-1个特征值对应的特征矢量作成一个变换矩阵W=[w1, w2, …, wc-1]；训练和识别时，每一个输入的d维特征矢量x可以转换为c-1维的新特征矢量y： y = Wtx。3类问题FDAFDA的讨论非正交：经FDA变换后，新的坐标系不是一个正交坐标系；特征维数：新的坐标维数最多为c-1，c为类别数；解的存在性：只有当样本数足够多时，才能够保证类内散度矩阵Sw为非奇异矩阵（存在逆阵），而样本数少时Sw可能是奇异矩阵。8.3 成分分析的其它问题独立成分分析( ICA, Independent Component Analysis )：PCA去除掉的是特征之间的相关性，但不相关不等于相互独立，独立是更强的要求。ICA试图使特征之间相互独立。多维尺度变换(MDS, Multidimensional Scaling)典型相关分析(CCA, Canonical Correlation Analysis)偏最小二乘(PLS, Partial Least Square)线性PCA的神经网络实现8.4 核函数及其应用空间的非线性映射建立一个R2?R3的非线性映射特征空间中的内积计算特征空间中2个矢量的内积：定义核函数： ，则：核函数启示：特征空间中两个矢量之间的内积可以通过定义输入空间中的核函数直接计算得到。实现方法：不必定义非线性映射Φ而直接在输入空间中定义核函数K来完成非线性映射。应用条件：定义的核函数K能够对应于特征空间中的内积；识别方法中不需要计算特征空间中的矢量本身，而只须计算特征空间中两个矢量的内积。Hibert-Schmidt理论作为核函数应满足如下条件： 是 下的对称函数，对任意 ，且 有： 成立，则 可以作为核函数。此条件也称为Mercer条件。常用的核函数Gaussian RBF：Polynomial：Sigmoidal：Inv. Multiquardric：核函数应用于线性分类器（SVM的非线性版本）SVM的求解，最后归结为如下目标函数的优化：可以引入非线