特征提取的数学方法解读.ppt

基于Karhunen-Loeve变换的特征提取 离散K-L变换 设特征向量为 ，均值向量为 ，相关矩阵为 ，协方差矩阵为 。 为总的特征向量的个数。 03 基于Karhunen-Loeve变换的特征提取 利用标准正交矩阵 对 作如下变换： 03 基于Karhunen-Loeve变换的特征提取 的每个分量 ，由于 为标准正交矩阵，因 此 。即， 的每一个分量是 各分量的线 性组合。 同时， 可表示为： 03 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 为达到降维的目的，需要用 的前 项代替 ， 。这种代替必然带来误差，下面就这种误差进行估计。 令 ， ，引入的均方误差为： 03 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 令 ， ，引入的均方误差为： 03 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 均方误差： 这又变成一个优化问题。需要找到标准正交矩阵 ，使得均方误差 最小。 03 3 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 采用拉格朗日乘子法，解决此优化问题。构造如下形式的准则函数 ： 第一项保证均方误差最小，第二项保证矩阵 为标准正交阵。 为一待定常数。 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 将准则函数 看成是关于 的函数，对 求偏导： 03 对矩阵求导： 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 将准则函数 看成是关于 的函数，对 求偏导： 03 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 令 ，则有 ， 即 。 由此， 为相关矩阵 的特征值 对应的特征向量。 03 基于Karhunen-Loeve变换的特征提取 3.1 第一种误差估计方法 均方误差为： 从上式可以看出， 决定均方误差。即，特征值 越小，均方误差 就越小。 因此，在估计 时，应当利用前 个较大的特征值对应的特征向量进行变换。 03 例 两个模式类的样本分别为： 利用自相关矩阵 做K-L变换，把原样本集压缩成一维样本集。 解：1). 计算两类样本的总体自相关矩阵 ； 2). 计算 的特征值，并选择较大者。根据 得 ，选择 。 3). 根据 计算 对应的特征向量 ，归一化后为 基于Karhunen-Loeve变换的特征提取 03 则变换矩阵为 4). 利用 对样本集中每个样本进行K-L变换。 变换结果为 基于Karhunen-Loeve变换的特征提取 03 变换前后模式分布如下图所示： 基于Karhunen-Loeve变换的特征提取 03 基于Karhunen-Loeve变换的特征提取 3.2 第二种误差估计方法 的另一种估计式如下： 为常数。 此时，均方误差为： 03 基于Karhunen-Loeve变换的特征提取 3.2 第二种误差估计方法 （1） 令 求取最佳 ，得： 则有 03 基于Karhunen-Loeve变换的特征提取 3.2 第二种误差估计方法 （2）在U为标准正交矩阵的约束下求 ，方法与第一估计方法类似，采用拉格朗日乘子法，构造准则函数 如下： 由 ， 得： 03 基于Karhunen-L