主成分1.PPTVIP

4.1.2 总体主成分 * 第四章 主成分分析与典型相关分析 (principal component analysis Canonical correlation analysis ) 4.1 主成分分析 主成分概念首先由 Karl Parson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。在多数实际问题中，不同指标之间是有一定相关性。由于指标较多及指标间有一定的相关性，势必增加分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标。同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。 4.1.1 引言 例如比较几只排球队的水平，我们可以选择：主攻、副攻、拦网、一传、二传、防反、发球、接发球以及失误等各指标，显然上述指标可以重新组合成以下两个关键指标：进攻能力与防守能力，我们所说的主成分就是指进攻能力与防守能力。 主成分分析是考察多个数值变量间相关性的一种多元统计方法，它是研究如何通过少数几个主成分来解释多变量的方差—协方差结构。导出几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间不相关。 为了方便，我们在二维空间中讨论主成分的几何意义。 设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。 一、主成分分析的几何意义 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 主成分分析的几何解释 平移、旋转坐标轴 ? 上述坐标的旋转与平移可用公式表示如下： 其系数矩阵有何特点？ 单位正交矩阵 这就提示我们，是否可以根据线性代数中的 有关定理，通过正交变换建立主成分. 二、主成分分析的基本思想 设有实际问题中的 p个n 维随机变量 (指标)得到矩阵 如何用新的指标来代替原来的p项指标呢？在统计学中，经常使用原始指标的线性组合所构成的综合指标来代替原有的指标，即 由于 其中 ? 是P个随机变量的协方差矩阵. 如果我们希望用Y1代替原来的P个变量，这就要求Y1尽可能地反映原有P个变量的信息.这里的‘信息’用Y1方差来度量，即要求var(Y1)=l1T?l1达到最大，为此我们需要对系数向量加以限制即满足约束条件： 求l1使var(Y1)取最大值，由此 l1所确定的随机变量Y1称为随机变量 的第一主成分 . 如果第一主成分Y1还不足以反映原变量的信息，则进一步求Y2,为了使Y1和Y2所反映原变量的信息不相重叠，要求Y1和Y2不相关，即 于是,在约束条件 下，求l2使得 var(Y2)达到最大，由此 所确定的随机变量Y2称为 的第二主成分. 一般地，求第i个主成分Yi，则要求其系数及主成分满足以下条件： （1）系数向量是单位向量，即 （2）不同的主成分不相关，没有重叠信息,即 （3）各主成分的方差递减，重要性递减,即 Y1,Y2,…,Yp依次称为第一主成分，第二主成分，…，第p个主成分. 为了计算出各主成分就必须计算其系数向量，这依赖于线性代数的基本理论. (1) 若A是p阶实对称阵，则一定存在正交阵U，使 其中 是A的特征根。 1. 两个线性代数的结论 注意：U是正交矩阵，则U-1=U’，于是由U-1AU=?可得U’AU= ??A=U?U’ (2) 实对称阵不同特征根所对应的特征向量是正交的. *