多元统计分析第四篇章课件第二部分.ppt

;;§3 主成分的性质;1.主成分向量的均值和协方差矩阵;2.主成分的总方差 ;总方差中属于第i主成分Fi （或被Fi所解释）的比例为： 称为主成分Fi的贡献率。 第一主成分F1的贡献率最大，表明它解释原始变量 X1,X2, ?,Xp的能力最强，而F2,F3, ?,Fp的解释能力依次递减。 主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。 ;前m个主成分的贡献率之和 称为主成分F1,F2, ?,Fm的累计贡献率，它表明F1,F2, ?,Fm解释X1,X2, ?,Xp的能力。 通常取（相对于p）较小的m ，使得累计贡献达到一个较高的百分比（如80％～90％）。此时，F1,F2, ?,Fm可用来代替X1,X2, ?,Xp，从而达到降维的目的，同时信息的损失却不多。;*;4、原始变量被主成分的提取率 ; 如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：;;例1 设 的协方差矩阵为: ;;5.原始变量对主成分的影响;例2 设X=(X1,X2,X3)′的协方差矩阵为 经计算，Σ的特征值及特征向量为 λ1=109.793，λ2=6.469，λ3=0.738 相应的主成分分别为: F1=0.305X1+0.041X2+0.951X3 F2=0.944X1+0.120X2?0.308X3 F3=?0.127X1+0.992X2?0.002X3 ; 可见，方差大的原始变量X3在很大程度上控制了第一主成分F1，方差小的原始变量X2几乎完全控制了第三主成分F3，方差介于中间的X1则基本控制了第二主成分F2。F1的贡献率为 这么高的贡献率首先归因于X3的方差比X1和X2的方差大得多，其次是X1,X2,X3相互之间存在着一定的相关性。F3的特征值相对很小，表明X1,X2,X3之间有这样一个线性依赖关系： ?0.127X1+0.992X2?0.002X3≈c 其中c=?0.127μ1+0.992μ2?0.002μ3为一常数。;§4 主成分分析的步骤 ; 第二步：求出分别所对应的特征向量U1，U2，…，Up， ;二、基于相关系数矩阵 如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。;从R出发的主成分性质; 因此，在解释主成分 时，由相关矩阵R求得的载荷 和相关系数 所起的作用是完全相同的，只需选其一用来作主成分解释即可。 (4)主成分 对变量 的贡献率 (5) 。;例3 在例2中，X的相关矩阵 R的特征值及特征向量为 相应的主成分分别为: ; 的贡献率为 和 累计贡献率为 现比较本例中从R出发和例2中从 Σ出发的主成分计算结果。从R出发的 的贡献率0.705明显小于从Σ出发的F1的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显。 可用标准化前的原变量表达如下：; 可见， 在原变量X1,X2,X3上的载荷相对大小与例2中Fi在X1,X2,X3上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。; 根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。 1．主成分分析能降低所研究的数据空间的维数。即用研究m维的F空间代替p维的X空间(m＜p)，而低维的F空间代替 高维的X空间所损失的信息很少。即：使只有一个主成分Fl(即 m＝1)时，这个Fl仍是使用全部X变量(p个)得到的。例如要计算Fl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。; ; 4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。 5．用主成分分析筛选回归变量。回归变量的选择有着重要的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。;例4 在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项