2025年(完整)PCA的原理及详细步骤.pdfVIP

人人好公，则天下太平；人人营私，则天下大乱。——刘鹗

一、基本原理

主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多

p

的具有一定相关性的指标X1，X2，…，XP（比如个指标），重新组合成一组较

少个数的互不相关的综合指标Fm来代替原来指标。那么综合指标应该如何去提

取，使其既能最大程度的反映原变量Xp所代表的信息，又能保证新指标之间保

持相互无关（信息不重叠）。

设F1表示原变量的第一个线性组合所形成的主成分指标，即

FaXaX...aX

1111212p1p,由数学知识可知，每一个主成分所提取的信息量可

用其方差来度量，其方差Var(F1)越大，表示F1包含的信息越多。常常希望第

一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，

X2，…，XP的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主

成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有

效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独

立、不相关，用数学语言表达就是其协方差Cov(F1,F2)=0，所以F2是与F1不

相关的X1，X2，…，XP的所有线性组合中方差最大的，故称F2为第二主成分，

依此类推构造出的F1、F2、……、Fm为原变量指标X1、X2……XP第一、第二、……、

第m个主成分。

FaXaX...aX



11111221pp



FaXaX...aX

22112222pp







FaXaX...aX

mm11m22mpp

根据以上分析得知：

(1)Fi与Fj互不相关，即Cov(Fi，Fj)=0,并有Var(Fi)=ai’Σai，其

中Σ为X的协方差阵

(2)F1是X1，X2，…，Xp的一切线性组合（系数满足上述要求）中方差最

大的,……,即Fm是与F1，F2，……，Fm－1都不相关的X1，X2，…，XP的所有

线性组合中方差最大者。

F1，F2，…，Fm（m≤p）为构造的新变量指标，即原变量指标的第一、第二、……、

第m个主成分。

由以上分析可见，主成分分析法的主要任务有两点：

（1）确定各主成分Fi（i=1，2，…，m）关于原变量Xj（j=1，2，…，p）

的表达式，即系数a（i=1，2，…，m；j=1，2，…，p）。从数学上可以证

ij

明，原变量协方差矩阵的特征根是主成分的