《浅谈.docxVIP

浅谈PCA和KPCA主要谈谈PCA的假设条件和缺点。??????? PCA有以下几个假设条件:??????? （1）线性（Linearity）：基变换的条件，即新得到的正交基可以由之间基的线性组合得到。目前有研究将这个条件转换到非线性条件下，例如Kernel PCA。??????? （2）大方差对应重要数据结构（Large variances have important structure）：等同于另一个假设：数据对应高的信噪比。方差大对应重要的数据结构，同时对应低的噪声。这是一个很强的假设，但是有时确是不对的。??????? （3）主成分之间正交（The principal components are orthogonal）：这个假设使得PCA的求解可以采用线性代数分解技术实现，如特征值分解和SVD。??????? PCA的缺点：??????? （1）当样本点具有一些非线性性质时，采用PCA得到的降维结果无法反映出样本点之间所隐藏的非线性性质。??????? （2）PCA能找到很好的代表所有样本点的方向，但这个方向对于分类未必是最有利的。??????? （3）对PCA所要保持的主分量的个数的估计比较困难。虽然可以通过样本点中心化矩阵的相邻奇异值之间的比值大小、或者采用特征值所占百分比（例如大于85%）的方法来确定主分量个数，但是当奇异值大小变化比较平缓时，难以估计应该舍弃哪些分量。??????? （4）在有些情况下，难以对PCA所保持的主分量的意义进行解释。例如降维结果中的负值。一、什么是PCA　　PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化，有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。　　它的优点是简单，而且无参数限制，具有普适性。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。但PCA模型本身也存在诸多的假设条件，决定它存在一定的限制，在有些场合可能造成效果不好甚至失效。　　在以下的章节中，不仅有对PCA的比较直观的解释，同时也配有较为深入的分析。首先将从一个简单的例子开始说明PCA应用的场合以及想法的由来，进行一个比较直观的解释；然后加入数学的严格推导，引入线形代数，进行问题的求解。随后将揭示PCA与SVD(Singular Value Decomposition)之间的联系以及如何将之应用于真实世界。最后将分析PCA理论模型的假设条件以及针对这些条件可能进行的改进。二、线性代数的角度看：基变换　　从线形代数的角度来看，PCA的目标就是使用另一组正交基去重新描述得到的数据空间。而新的基要能尽量揭示原有的数据间的关系，即最重要的主元，PCA的目标就是找到这样的“主元”，最大程度的去除冗余和噪音的干扰　　这里提出了PCA方法的一个最关键的假设：线性。这是一个非常强的假设条件。它使问题得到了很大程度的简化：1）数据被限制在一个向量空间中，能被一组基表示；2）隐含的假设了数据之间的连续性关系。这样一来数据就可以被表示为各种基的线性组合。问题：在线性的假设条件下，问题转化为寻找一组变换后的基，怎样才能最好的表示原数据？基怎么选取才是最好的？解决问题的关键是如何体现数据的特征，那么什么是数据的特征，应该如何体现呢？“最好的表示”是什么意思呢？在线性系统中，所谓的“混乱数据”通常包含以下的三种成分：噪音、旋转以及冗余。去除噪音、冗余等后的数据就是“最好的表示”，这也是PCA降维思想的本源。三、协方差矩阵　　争对上面的说明，如何来衡量各个观测变量之间是否出现冗余的情况，我们可以借助协方差来进行衡量和判断。协方差矩阵包含了所有观测变量之间的相关性度量。更重要的是，这些相关性度量反映了数据的噪音和冗余的程度：在对角线上的元素越大，表明信号越强，变量的重要性越高；元素越小则表明可能是存在的噪音或是次要变量在非对角线上的元素大小则对应于相关观测变量对之间冗余程度的大小　　　　一般情况下，初始数据的协方差矩阵总是不太好的，表现为信噪比不高且变量间相关度大。PCA的目标就是通过基变换对协方差矩阵进行优化，找到相关“主元”。那么，如何进行优化呢，我们通过对协方差矩阵进行对角化。　　PCA的求解：特征根的求解四、PCA的假设与局限　　PCA的模型中存在诸多的假设条件，决定了它存在一定的限制，在有些场合可能会造成效果不好甚至失效。PCA的假设条件包括：1. 线形性假设。　　如同文章开始的例子，PCA的内部模型是线性的。这也就决定了它能进行的主元分析之间的关系也是线性的。现在比较流行的kernel-PCA的一类方法就是使用非线性