模式识别作业三-kl变换.docVIP

模式识别作业报告 组员： 2011302265 孔素瑶2011302268 马征 2011302273 周昳慧 实验要求 用FAMALE.TXT和MALE.TXT的数据作为本次实验使用的样本集，利用K-L变换对该样本集进行变换，与过去用Fisher线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。 具体做法 不考虑类别信息对整个样本集进行K-L变换（即PCA），并将计算出的新特征方向表示在二维平面上，考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。 利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用该投影方向进行分类。 将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。 实验原理 设n维随机向量，其均值向量，相关矩阵，协方差矩阵，经正交变换后产生向量。 设有标准正交变换矩阵，（即） ， （称为 的K-L展开式） 取前m项为的估计值 其均方误差为 在的约束条件下,要使均方误差 为此设定准则函数 由 可得 即 表明: li是的特征值，而是相应的特征向量。利用上式有: 用“截断”方式产生x的估计时，使均方误差最小的正交变换矩阵是其相关矩阵Rx的前m个特征值对应的特征向量构成的。 实验内容 实验中，训练样本集的身高和体重数据构成二维特征向量。利用K-L变换，找出合适的投影方向，将原坐标系中的二维向量变为新坐标系中的一维向量，根据变换后的数据进行分类及为实验目的。 .不考虑性别信息的特征提取 根据训练样本集数据，计算样本均值和协方差矩阵,式中，是二维特征列向量。 令产生矩阵计算的特征值，则最大特征值对应的特征向量即为要求的新坐标系。将原来的二维坐标系中的数据投影到一维坐标系之后，给定适当的阈值即可实现对样本数据得分类。 .利用类均值向量的特征提取 根据训练样本集数据，分别计算两个样本的均值和协方差矩阵。在给定先验概率的情况下可以计算出类内离散度矩阵以及类间离散度矩阵，其中和分别代表各类均值与总体均值。是K-L坐标系的产生矩阵，变换后表征分类性能的函数 可见是类间离散度与类内离散度在这坐标的分量之比，越大，表明在新坐标系中该坐标轴包含较多可分性信息。为了降低特征空间的维数,可以将各分量按大小重新排列，使： 并且与前面d个最大的值相对应的特征向量，j=1，……，d作为特征空间的基向量。 程序框图 1.不考虑性别信息 利用类均值向量的特征提取 实验结果 .不考虑性别信息的特征提取 实验中不考虑类别信息，用FAMALE.TXT和MALE.TXT的数据作为本次实验使用的样本集，建立基于K-L变换的分类器，记录错误率，并与Fisher线性分类器的分类结果作比较。 表1 不考虑性别信息的特征提取中，Fisher线性分类器略胜一筹 .利用类均值向量的特征提取 实验中考虑类别信息，设定男女先验概率分别为0.75和0.25，建立基于K-L变换的分类器，记录分类错误率并与Fisher线性分类器的分类错误率进行比较。 表2 利用类均值向量的特征提取中，分类效果会受到先验概率的影响 实验心得 有了前两次的实验经验，这次的实验完成起来要熟络得多。我们先对之前学过的知识进行了系统的回顾，对KL变换有了更深一步的了解，此外，我们在选取先验概率时，考虑到前面Fisher分类器采用的是0.75对0.25，所以为了减少工作量，我们依旧选取0.75对0.25，整个过程相比于前两次显得较为轻松。 读入训练样本矩阵 计算样本均值和协方差矩阵 计算产生矩阵的特征值 得到最大特征值对应的特征向量并建立K-L坐标系 用测试样本进行测试分类 读入训练样本矩阵 计算样本均值和协方差矩阵 根据给定的先验概率，求类内离散度和类间离散度 计算产生矩阵的特征值，代入性能函数 得到最大对应的特征向量并建立K-L坐标系 用测试样本进行测试分类 第 2 页 Sheet1 男误判为女 女误判为男 K-L Fisher 10.00 4.00 8.00 4.00 Sheet1 男误判为女 女误判为男 K-L Fisher 10.00 3.00 8.00 4.00