KPCA方法的推导.doc

KPCA(Kernel based Principle Component Analysis)方法的推导 首先证明该样本集合协方差矩阵的特征向量处于样本所张成的空间，即：，设有样本集合：，假设样本的均值为0，即：，。 [证明] 样本集合的协方差矩阵为：，令为的特征值，为对应特征矢量，则有： (1) 即： 因此：。 证毕 推导特征空间中协方差矩阵特征值和特征向量的求解方法。设有样本集合：，取非线性映射：，为样本所处的维欧氏空间，称为输入空间，为一个Hilbert空间，称为特征空间，样本在特征空间中的内积可以用一个核函数来计算：。假设样本集合在特征空间中的均值为0，即：。 样本在特征空间中的协方差矩阵为： (3) 令：为的特征值，为对应的特征矢量，则有： (4) 利用之前证明的结果，特征矢量，即存在，使得： (5) (5)式左乘，则有： (6) 将(5)式代入(6)式左端： (7) 其中： 为矢量的第j个元素. 将(3)和(5)式代入(6)式得右端： (8) (7)式(8)式相等，则有： (9) 因此，求取的特征值和特征向量的问题可以转化为如下特征值问题： (10) 用代替，即为： (11) 令：为矩阵的特征值，为特征矢量，则对应的的第个特征值和特征矢量为： ， (12) 其中为的第个元素。 规范化，将转化为单位矢量。 因此只须使，即可使规范化。 计算样本在特征空间中第个轴上的投影，利用(12)式，有： (13) KPCA算法： 计算矩阵；； 计算的特征值和特征向量：，，取最大的前个特征值； 规范化前个特征向量，使得； 利用(13)式可以计算样本的第个核主成分。