PCA算法的原理和其示例.docVIP

PCA算法的原理及其示例 郑琛 (北京师范大学，北京 100875) 摘要：主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题，对于某些复杂数据就可应用主成分分析法对其进行简化。计算主成分的目的是将高维数据投影到较低维空间。文中介绍了PCA算法的基本概念和基本原理，利用算法在降维和特征提取方面的有效性，结合人脸识别的实例进行详细的阐述。 关键字：主成分分析；数据降维；特征提取 PCA算法的基本概念 PCA是Principal component analysis的缩写,中文翻译为主成分分析。主成分又称主分量、主元素。它是研究如何通过原来变量的少数几个线性组合来解释随机向量的方差-协方差结构,是数据压缩和特征提取中一种多维向量的统计分析方法[1]。这种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音[2]和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。它的优点是简单,而且无参数限制,可以方便的应用与各个场合。因此应用极其广泛,从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最有价值的结果之一。 PCA算法的原理与基本思想 PCA算法的原理是设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和变量尽可能多地反映原来变量的信息的统计的方法，也是数学上处理降维的一种方法。 PCA算法的基本思想是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。典型的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var（F1）越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称 F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求Cov（F1，F2）=0，则称F2为第二主成分，以此类推可以构造出第三、第四，...........，第P个主成分。应当注意，主成分分析本身往往并不是目的，而是达到目的的一种手段，因此，它多用在大型研究项目的某个中间环节。如把它用在多重回归，便产生了主成分回归，这种回归具有优良性质，另外，它在压缩、特征提取及分类应用中非常有用。 PCA求解的一般步骤 PCA求解：特征方程的根 在线形代数中,PCA问题可以描述成以下形式: 寻找一组正交基组成的矩阵P,有Y=PX,使得CY eq \f(1,n-1) YYT是对角阵。则P的行向量(也就是一组正交基),就是数据X的主元向量。 对CY进行推导: CY= eq \f(1,n-1) YYT = eq \f(1,n-1) (PX)(PX)T = eq \f(1,n-1) PXXTPT = eq \f(1,n-1) P(XXT)PT CY= eq \f(1,n-1) PAPT 定义AXXT,则A是一个对称阵。对A进行对角化求取特征向量得: A=EDET 则D是一个对角阵，而E则是对称阵A的特征向量排成的矩阵。 这里要提出的一点是,A是一个m×m的矩阵,而它将有r(rm)个特征向量。其中r是矩阵A的秩。如果rm,则A即为退化阵。此时分解出的特征向量不能覆盖整个m空间。此时只需要在保证基的正交性的前提下,在剩余的空间中任意取得m-r维正交向量填充R的空格即可。它们将不对结果造成影响。因为此时对应于这些特征向量的特征值,也就是方差值为零。 求出特征向量矩阵后我们取P-ET，则A=PTDP，由线形代数可知P矩阵有性质P-1=PT，从而进行如下计算: CY= eq \f(1,n-1) PAPT = eq \f(1,n-1) P(PTDP)PT = eq \f(1,n-1) (PPT)D(PPT) = eq \f(1,n-1) (PP-1)D(PP-1) CY= eq \f(1,n-1) D 可知此时的P就是我们需要求得变换基。至此我们可以得到PCA的结果: ?X的主元即是XXT的特征向量,也就是矩阵P的行向量。 ?矩阵CY对角线上第i个元素是数据X在方向Pi的方差。 我们可以得到PCA求解的一般步骤: 1)采集数据形成m×n的矩阵。m为观测变量个数,n为采样点个数。 2)在每个观测变量(矩阵行向量)上减去该观测变量的平均值得到矩阵X。 3)对XXT进行特征分解,求取特征向量以及所对应的特征根。 四、举例说明——基于PCA算法的人脸识别 PCA方法由于其在降维和特征提取方面的有效性，在