第九章 基于KL展开式的特征提取.ppt

模式识别 第九章特征的选择与提取 回顾： 两类提取有效信息、压缩特征空间的方法： 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最好的特征 常见类别可分离性判据： － 基于距离的可分性判据 － 基于概率密度分布的判据 9.3 基于K－L展开式的特征提取 K-L变换，是一种常用的正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维。 学习这一节主要要掌握以下几个问题： 1．什么是正交变换； 2．K-L变换是一种最佳的正交变换，要弄清是什么意义的最佳，也就是说它最佳的定义； 3．K-L变换的性质； 4．K-L变换的重要应用。 §9.3 基于K－L展开式的特征提取 正交变换概念 变换是一种工具，它的用途归根结底是用来描述事物，特别是描述信号用的。例如我们看到一个复杂的时序信号，希望能够对它进行描述。描述事物的基本方法之一是将复杂的事物化成简单事物的组合, 或对其进行分解，分析其组成的成分。 例如对一波形，我们希望知道它是快速变化的(高频)，还是缓慢变化的(低频)，或是一成不变的(常量)。如果它既有快速变化的成分，又有缓慢变化的成分，又有常量部分，那么我们往往希望将它的成分析取出来。这时我们就要用到变换。 §9.3 基于K－L展开式的特征提取 正交变换概念 变换的实质是一套度量用的工具，例如用大尺子度量大的东西，用小尺子度量小的东西，在信号处理中用高频，低频或常量来衡量一个信号中的各种不同成分。对某一套完整的工具就称为某种变换。 如傅里叶变换就是用一套随时间正弦、余弦变化的信号作为度量工具，这些正弦，余弦信号的频率是各不相同的，才能度量出信号中相应的不同频率成分。 §9.3 基于K－L展开式的特征提取 图6-1 图6-2a 图6-2b 例如，图6-1中的信号只有一个单一频率的简谐信号，而图6-2(a)中信号就不是一个简谐信号所描述的，它起码可以分解成图6-2中的两个成分，一是基波，另一是三次谐波。 §9.3 基于K－L展开式的特征提取 图6-3(b)中的向量A与B在一个二维空间定义，它们两者分别含有成分为(a1,a2)与(b1,b2)，a1与b1是两者的同一种成分，a2与b2则是另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就不需要积分，而只是简单求和。 图6-3b §9.3 基于K－L展开式的特征提取 点积运算的结果是一个数值，或大于零，小于零或等于零 等于零的情况在图6-3(b)中出现在A与B之间夹角为90°的情况，这表明B中没有A的成分，A中也没有B的成分，因此又称相互正交。 由此我们知道作为一种变换，如果这种变换中的每一种成分与其它成分都正交时，它们之间的关系就相互独立了，每一种成分的作用是其它成分所不能代替的。拿傅里叶变换来说，频率为f的成分只能靠变换频率为f的成分去析取。 另一方面也说明了这套变换必须是完备的，也就是它必须包含一切必要的成分，例如必须有基波的任何一次整数倍频率的谐波，否则就会对信号分析不全面。 §9.3 基于K－L展开式的特征提取 上式中要求uiTuj=1，是考虑到ui是作为度量事物的单位应用的，它本身的模应该为1，ui又称为某一个基。而被分解后的任何事物(在此指信号)可等成各种成分之和。故任一信号X可表示成： 其中ci是相应基ui的相应成分。 综合以上分析，我们可以将对这种变换的定义总结为：　　如果将这种变换中的每一成分，用一个向量ui表示，i是其下标，原理上可以到∞，则我们要求的正交变换可表示成： §9.3 基于K－L展开式的特征提取 基于Karhunen-Loeve变换的特征提取方法是以在特征空间分布的样本特征向量为原始数据，通过实行K-L变换，找到维数较少的组合特征，达到降维的目的。由于样本的描述都是离散的向量，因此我们只讨论K-L变换的离散情况。 K-L变换：对给定一个D维训练样本集（原始特征空间），进行特征空间的降维，降到d维，dD。也就是说将d+1维以上的成分略去，显然原信号会因此受到一些损失。 §9.3 基于K－L展开式的特征提取 K-L变换的最佳体现在对给定一个训练样本集条件下，能使这种误差从总体上来说是最小。注意这里讲的是总体，这是因为降维以后，训练样本集中的每个样本数据都受到损失，要衡量的是总体效果。这种情况下最常用的指标是均方误差最小，或称均方误差的期望值最小。这就是说要找的正交变换能使一组样本集的均方误差的期望