模式识别5-1主成分和K-L变换汇总.ppt

主成分分析 主成分分析PCA Principle Component Analysis 通过K-L变换实现主成分分析 PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。 K－L 坐标系的产生矩阵 K-L变换 特征提取思想 用映射（或变换）的方法把原始特征变换为较少的新特征 降维 主成分分析(PCA)基本思想 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。 希望找到一种能量最为集中的的变换方法使损失最小 K-L变换 原始输入: x 变换后特征:y 变换矩阵(线性变换):A 则: y=ATx K-L变换 思考: 希望特征之间关联性尽可能小 变换后的相关矩阵: Ry≡E[yyT] =E[ATxxTA] =ATRxA 我们是不是希望Ry是个对角矩阵？ 如何选择A? K-L变换 考虑以Rx的特征向量作为A的列，则 Ry=ATRxA = [a1,a2……an] TRx [ a1,a2……an] = [ a1,a2……an] T [λ 1a1, λ2a2……λnan] =? ?为对角矩阵，对角线元素为λ 1, λ2……λn 达到变换后特征不相关的目的 以上为K-L变换 K-L变换 思考K-L变换性质: 如果降维，有什么结果 原有N维，只保留m维，即去掉ym+1……yN 希望:和原来的表示方法差别最小 即:E[||x-x’||2] 最小 x’表示[y1……ym]在原空间中对应的表示方法 K-L变换 K-L变换 结论 如果对特征向量排序，舍弃最小的特征，则损失的能量最小 K-L变换典型应用 1．降维与压缩 对一幅人脸图象，如果它由M行与N到象素组成，则原始的特征空间维数就应为M×N。 而如果在K-L变换以及只用到30个基，那么维数就降至30，由此可见降维的效果是极其明显的。 譬如原训练样本集的数量为V，而现采用30个基，数据量是大大降低 K-L变换典型应用 3．人脸识别 首先搜集要识别的人的人脸图象，建立人脸图象库， 然后利用K-L变换确定相应的人脸基图象， 再反过来用这些基图象对人脸图象库中的有人脸图象进行K-L变换 在识别时，先对一张所输入的脸图象进行必要的规范化，再进行K-L变换分析，得到其参数向量。 K-L变换典型应用 4．人脸图象合成 使用K-L变换进行特征提取 题目: 主成分分析 PCA 路志宏 Lu_zhihong@163.com 内 容 一、前 言 二、问题的提出 三、主成分分析 1. 二维数据的例子 2. PCA的几何意义 3. 均值和协方差、 特征值和特征向量 4. PCA的性质 四、主成分分析的算法 五、具体实例 实例2 六、 结论 1. 前 言 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。实例1 实例2 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。 PCA 多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性. 在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上，这种想法是可以实现的. 主成分分析原理: 是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 主成分分析方法就是综合处理这种问题的一种强有力的方法。 2. 问题的提出 (1) 如何作主成分分析? 当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。 （2） 如何选择几个主成分。 主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 （3）如何解释主成分所包含的几何意义或经济意义或其它。 实例1: 经济分析 美国的统计学家斯通(Stone)在1947年关于国民经济的研究是一项十分著名的工作。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出