主成分_从一维到多维_上传教案.ppt

* * * * * * * * * * * * * * * * * * Yale * * Sample images for one object of the Yale dataset 结论：2DPCA是将一幅图像的每一行当成一个样本，进行PCA的运算。 * * 2DPCA 与PCA的关系 2DPCA与PCA（Eigenfaces）比较 优点： 提取特征的方法简单、直接 实验对比中显示识别率高 提取特征的计算效率高 缺点： 表示图像时需要的系数多，因此需要更多的存储空间 分类所需的计算时间稍多 * * 为什么2DPCA的性能优于PCA 对于小样本数据（比如人脸识别）来说， 2DPCA更加稳定。因为它的图像协方差矩阵比较小。 2DPCA比PCA能更加精确的刻画图像的协方差矩阵 * * 多维主成分分析（MPCA） * * * * [1] Lu H, Plataniotis K N, Venetsanopoulos A N. MPCA: Multilinear principal component analysis of tensor objects[J]. Neural Networks, IEEE Transactions on, 2008, 19(1): 18-39. [2] Lu H, Plataniotis K N, Venetsanopoulos A N. Gait Recognition through MPCA plus LDA, in Proc. Biometrics Symposium 2006 (BSYM 2006), Baltimore, US, September 2006. 参考文献 1-mode unfolding Multilinear projection 张量散度矩阵 优化函数 This is no known optimal solution which allows for the simultaneous optimization of N projection matrices !!!! Since the projection to an Nth-order tensor subspace consists of N projections to N vector subspaces, N optimization sub-problems can be solved by maximizing the scatter in the n-mode vector subspace. 算法实现 实验 USF HumanID “Gait challenge” data sets * Identification performance Probe PI (%) at Rank 1 PI (%) at Rank 5 Baseline MPCA Baseline MPCA A(GAL) 79 94 96 99 B(GBR) 66 76 81 83 C(GBL) 56 66 76 81 D(CAR) 29 27 61 64 E(CBR) 24 36 55 52 F(CAL) 30 15 46 53 G(CBL) 10 19 33 48 Average 42 48 64 68 MPCA是更为范化的主成分分析，PCA和2DPCA是MPCA的特例。 线性鉴别分析（LDA）是否也存在一样的范化 形式？在多维的情况，是否能够存在主成分分析与线性鉴别分析融合的方法？ 总结 1. 大部分机器学习与数据挖掘技术无法直接在高维数据上使用（维数灾难，效率和精度降低）；2. 数据内蕴维度是低维的 * * * * * * * * * * * * * We find that is also an eigenvector of S whose eigenvalue is the second largest. In general The kth largest eigenvalue of S is the variance of the kth PC. 主成分分析计算机理 重构误差: 结论1、求重构误差最小的投影方向等价于求散度最大的投影方向 主成分分析:寻找在最小均方误差