特征的选择与提取.pptxVIP

§4.6基于Karhunen-Loeve变换的特征提取K-L变换又称主分量分析，是一种正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维，学习这一节主要要掌握以下几个问题：1．什么是正交变换2．K-L变换是一种最佳的正交变换，要弄清是什么意义的最佳，也就是说它最佳的定义。3．K-L变换的性质。4．K-L变换的重要应用。

§4.6.1Karhunen-Loeve变换正交变换概念变换是一种工具，是用来描述事物，特别是描述信号用的。描述事物的基本方法之一是将复杂的事物化成简单事物的组合,或对其进行分解，分析其组成的成分。变换的实质是一套度量用的工具。对某一套完整的工具就称为某种变换，如傅里叶变换就是用一套随时间正弦、余弦信号作为度量工具，这些正弦，余弦信号的频率是各不相同的，才能度量出信号中相应的不同频率成分。

图4.6-1一个正弦信号2025/4/23中国矿业大学计算机科学与技术学院(31)3图4.6-2(a)另一种信号图4.6-2(b)信号的基波与谐波

对事物可以有不同的描述方法。对复杂事物进行经济有效的描述，我们希望将其分解成相互独立的成分，用变换对信号进行分析，所使用的数学工具是点积。

对正交变换的定义归为：如果将这种变换中的每一成分，用一个向量ui表示，i是其下标，原理上可以到∞，则正交变换可表示成：

2025/4/23中国矿业大学计算机科学与技术学院(31)6以样本特征向量在特征空间分布为原始数据，通过实行Karhunen-Loeve变换，找到维数较少的组合特征，达到降维的目的。由于样本的描述都是离散的向量，因此我们只讨论Karhunen-Loeve变换(以后称K-L变换)的离散情况。K-L变换的最佳：特征空间的降维，原特征空间是D维的，现希望降至d维dD。要找的正交变换能使一组样本集的截均方误差的期望值为最小。K-L变换是一种正交变换，即将一个向量X，在某一种坐标系统中的描述，转换成用另一种基向量组成的坐标系表示。这组基向量是正交的，其中每个坐标基向量用ui表示，j=1,…,∞，因此，一个向量X可表示成：(4.6-1)

对一向量或一向量空间进行正交变换，可采用多种不同的正交坐标系，关键在于使用正交变换要达到的目的，不同的要求使用不同的正交变换。如果将由(4.6-1)表示的无限多维基向量坐标系统改成有限维坐标系近似，即(4.6-2)表示X的近似值或估计量，我们希望在同样维数条件下，使向量X的估计量误差最小。确切地说是使所引起的均方误差：(4.6-3)

要找满足(4.6-3)式为最小是一个求极值的问题，求最佳的是正交变换的基ui，i=1,…∞。同时还要满足变换是正交归一这个条件，因此这是一个求条件极值的问题。至于对某一个数据X的相应cj值，可以通过X与每一个基uj的点积来计算。由于不同的基之间是相互正交的，这个点积值就是cj的值，即cj=ujTx如果要求一组系数cj，并将其表示成一个向量形式C=(c1,c2,……)T，则可得：(4.6-4)

则U就是一个变换矩阵，其中每一行是某一个正交基向量的转置。由X计算C称为对X的分解。反过来，如果希望用C重构信号X，则它是各个成分之和。如果我们将对应于每个基ui的成分表示成xi，则重构的信号又可表示成一个向量形式。(4.6-5)显然，与原向量X是有差别的，是原向量的一个近似，要使与X的差异越小，则要用更多维数的正交基。

2025/4/23中国矿业大学计算机科学与技术学院(31)10如果将代入(4.6-3)可得到由于uj,j＝1,…，∞是正交归一坐标系，有(4.6-6)所以有(4.6-7)系数cj可以利用正交坐标系的特性得到。如令某一基向量uj与向量X作点积，则有(4.6-8)利用(4.6-6)有(4.6-9)

(4.6-9)代入(4.6-7)得(4.6-10)如令则有欲使该均方误差ε为最小，就变成在确保正交变换的条件下，使ε达最小的问题，这可用拉格朗日乘子法求解。为此设一函数：并令其对uj求导数，得(4.6-11)

则取前d项特征值对应的特征向量组成的坐标系，可使向量的均方误差为最小。满足上述条件的变换就是K-L变换。如将λj按其大小顺序排列，即可见向量ujj=d+1,…,∞应是ψ矩阵的特征值λj的特征向量，而此时截断误差为

§4.6.2K-L变换的性质(1)样本的K-L变换系数ci与cj是无关的(4.6-12)(2)K-L变换后的协方差矩阵为对角矩阵。令在K-L变换后的D维坐标系统中样本向量为X，则

∧为一对角矩阵。表明经过K-L变换后，原向量各分量之间存在的相关性已被消除。图4.2表示在用K-L变换后新的坐标系中各分量的相关性消除。还反映了样本的w1分量比较分散，因而对分类可能