PCA原理及应用.docVIP

PCA原理与应用 PCA是Principal component analysis的缩写，中文翻译为主元分析/主成分分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线性代数最有价值的结果之一。 1、PCA原理 从线形代数的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空间。而新的基要能尽量揭示原有的数据间的关系，而这个基即最重要的“主元”。PCA的目标就是找到这样的“主元”，最大程度的去除冗余和噪音的干扰。 设： Y = PX （1） 并定义：pi表示P的行向量，xi表示X的列向量，yi表示Y的列向量。 公式1表示不同基之间的转换，在线性代数中，它表示P从X到Y的转换矩阵，在几何上，P对X进行旋转和拉伸得到Y。 将公式1展开： , 列向量 可得到yi表示xi与P中对应列的点积，相当于是在对应向量上的投影。因此，P的行向量事实上就是一组新的基，P的行向量就是PCA中所谓的“主元”。 为了使得获得Y具有类间方差大，类内方差小，冗余信息少的特点，下面将对P的求解进行分析。 最大化方差 假设我们还是将一个空间中的点投影到一个向量中去。首先，给出原空间的中心点： 根据，利用拉格朗日乘子法： 对上式求导，使之为0： ?这是一个标准的特征值表达式了，λ对应的特征值，u对应的特征向量。上式的左边取得最大值的条件就是λ1最大，也就是取得最大的特征值的时候。 最小化冗余信息 通常在试验中引入了一些不必要的变量，从而造成数据的冗余，对于复杂的情况，需要借助协方差来进行衡量和判断： A,B分别表示不同的观测变量所记录的一组值，在统计学中，由协方差的性质可以得到： ，且当且仅当观测变量A，B独立。 将A,B写成行向量： , 协方差可以表示为： 那么，对于一组具有m个观测值，n个采样时间点的采样数据X，将每个观测变量的值写成行向量，可以得到m*n的矩阵： , 定义协方差矩阵如下： Cx是m*n的平方对称矩阵。Cx对角线上的元素是对应的观测变量方差。非对角线上的元素是对应的观测变量之间的协方差。 协方差矩阵Cx包含了所有观测变量之间的相关性度量。更重要的是，包含了所有观测变量之间的相关性度量。 一般情况下，初始数据的协方差矩阵总是不太好的，表现为信噪比不高且变量间相关度大。PCA的目标就是通过基变换对协方差矩阵进行优化。 在线性代数中，上述问题可以描述成： 寻找一组正交基组成的矩阵P，有Y=PX，使得是对角阵。则P的行向量（也就是一组正交基），就是数据X的主元向量。 对于进行推导： 定义,则A是一个对称阵，对A进行对角化求取特征值得，A=EDET，D是一个对角阵，E是对称阵A的特征向量排成的矩阵。 取P=ET，则，由线形代数可知矩阵P有性质，从而进行如下计算： 可知此时的P就是我们需要求得变换基。X的主元即是的特征向量，也就是P的行向量。矩阵对角线上的第i个元素是数据X在方向Pi的方差。 最小化损失 ?假设输入数据x是在D维空间中的点，那么，我们可以用D个正交的D维向量去完全的表示这个空间（这个空间中所有的向量都可以用这D个向量的线性组合得到）。在D维空间中，有无穷多种可能找这D个正交的D维向量 假设找到了这D个向量，可以得到： 用近似法来表示投影后的点： 上式表示，得到的新的x是由前M 个基的线性组合加上后D - M个基的线性组合，注意这里的z是对于每个x都不同的，而b对于每个x是相同的，这样我们就可以用M个数来表示空间中的一个点，也就是使得数据降维了。但是这样降维后的数据，必然会产生一些扭曲，我们用J描述这种扭曲，我们的目标是，使得J最小： 对于每一个点，将降维后的点与原始的点之间的距离的平方和加起来，求平均值，们就要使得这个平均值最小。 将上面得到的z与b带入降维的表达式： 将上式带入J的表达式得到 再用上拉普拉斯乘子法可以得到，取得我们想要的投影基的表达式为： 这里又是一个特征值的表达式，我们想要的前M个向量其实就是这里最大的M个特征值所对应的特征向量。 也就是说当误差J是由最小的D - M个特征值组成的时候，J取得最小值。 （1） P矩阵的行向量代表X的主元，若用P矩阵前k列作为描述X的基，其误差J是由最小的D - M个特征值组成 （2） P矩阵的行向量pi所对应的特征值描述yi（Y的第i行）的方差，特征值越大，对应的方差越大，数据越离散，即X中的数据在pi轴的投影越分散。 （3）