fisher判别法.docVIP

实验Fisher线性判别实验 实验目的应用统计方法解决模式识别问题的困难之一是维数问题，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。 如果要把模式样本在高维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。问题的关键是投影之后原来线性可分的样本可能混杂在一起而无法区分。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量本实验通过编制程序体会Fisher线性判别的基本思路，理解线性判别的基本思想，掌握Fisher线性判别问题的实质。 二、实验1．线性投影与Fisher准则函数各类在维特征空间里的样本均值向量： ， (4.5-2) 通过变换映射到一维特征空间后，各类的平均值为： ， (4.5-3) 映射后，各类样本“类内离散度”定义为： ， (4.5-4) 显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数： (4.5-5) 使最大的解就是最佳解向量，也就是Fisher的线性判别式。 2．求解 从的表达式可知，它并非的显函数，必须进一步变换。 已知：，, 依次代入(4.5-1)和(4.5-2)，有： ， (4.5-6) 所以： (4.5-7) 其中： (4.5-8) 是原维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，越大越容易区分。 将(4.5-6)和(4.5-2)代入(4.5-4)式中： (4.5-9) 其中：， (4.5-10) 因此： (4.5-11) 显然： (4.5-12) 称为原维特征空间里，样本“类内离散度”矩阵。 是样本“类内总离散度”矩阵。 为了便于分类，显然越小越好，也就是越小越好。 将上述的所有推导结果代入表达式： 可以得到： 其中，是一个比例因子，不影响的方向，可以删除，从而得到最后解： (4.5-18) 就使取得最大值，可使样本由维空间向一维空间映射，其投影方向最好。是一个Fisher线性判断式。 ????? 这个向量指出了相对于Fisher准则函数最好的投影线方向。 3. Fisher算法步骤 由Fisher线性判别式求解向量的步骤： ① 把来自两类的训练样本集分成和两个子集和。 ② 由，，计算。 ③ 由计算各类的类内离散度矩阵，。 ④ 计算类内总离散度矩阵。 ⑤ 计算的逆矩阵。 ⑥ 由求解。 一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布（）Fisher方法可直接求解权向量；Fisher的线性判别式确定性模式分类器的训练对于随机模式也是适用的Fisher还可以进一步推广到多类问题中去如果，，则样本线性不可分 ，未必线性可分 不可逆，未必不可分。 对线性不可分的情况，Fisher方法无法确定分类三、clear % w1类训练样本，10组，每组为行向量。 w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034;... 0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063]; % w2类训练样本，10组，每组为行向量。 w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;... -0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49]; %w1=load(xxx1.txt); %w2=load(xxx2.txt); x