主成分分析之PCA.ppt

* 2. 样本协方差 中心 中心 协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量单位的影响. 注意：协方差 是对称矩阵且半正定 * 3.3 特征值与特征向量 定义 Ａ为ｎ阶方阵，λ为数， 为ｎ维非零向量， 若 则λ称为Ａ的特征值， 称为Ａ的特征向量． 注 ②　　　并不一定唯一； ③　ｎ阶方阵Ａ的特征值，就是使齐次线性方程组 ①　特征向量　　 ，特征值问题只针对与方阵； 有非零解的λ值，即满足 的λ都是方阵Ａ的特征值． 定义 称以λ为未知数的一元ｎ次方程 为Ａ的特征方程． * 例1: 从一个总体中随机抽取4个样本作三次测量,每一个样本的观测向量为: 计算样本均值M和协方差矩阵S以及S的特征值和特征向量. * Syntax C = cov(X) AlgorithmThe algorithm for cov is [n,p] = size(X); X = X - ones(n,1) * mean(X); Y = X*X/(n-1); See Also corrcoef, mean, std, var * * ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 平移、旋转坐标轴 ? M * * 为了方便，我们在二维空间中讨论主成分的几何意义。 设有n个样本，每个样本有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的信息将会有较大的损失。 * * 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。 * * Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。 F简化了系统结构，抓住了主要矛盾。 * 稍事休息 * §3.4 PCA的性质 一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使 其中 是A的特征根。 * 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有 令 * §3.4 PCA的性质(续) 3、均值 4、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。 协方差矩阵?的对角线上的元素之和等于特征根之和。 * 3.4、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率 ，反映了原来P个指标多大的信息，有多大的综合能力 。 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重 来描述，称为累积贡献率。 * PCA　　常用统计量： １.特征根　　λi ２.各成分贡献率　　　 ３.前各成分累计贡献率 ４.特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量。 * 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率≥80%时的。最常见的情况是主成分为2到3个。主成分的个数就足够了 * 例 设 的协方差矩阵为 解得特征根为 ， ， ，， 第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但应该取两个主成分。97.88% * §4 主成分分析的步骤 第一步：由X的协方差阵Σx，求出其特征根，即解方程 ，可得特征根 。 一、基于协方差矩阵 * 第二步：求出分别所对应的特征向量U1，U2，…，Up， 第三步：计算累积贡献率，给出恰当的主成分个数。 第四步：计算