线性判别分析lda线性判别析lda分析lda.ppt

线性判别分析（LDA） 基本思想 线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，即把高维空间中的数据点投影到一条直线上去，将多维降为一维。并且要求投影后各样本的类间散布距离最大，同时类内散布距离最小。 LDA 二分类问题公式推导 假设A和B为分类明确的两类症状。在总体A中观察了P例，在总体B中观察了q例，每一例记录了n个指标，分别记为x1,x2,…,xn。令y是n个指标的一个线性函数，即  y=w1x1+w2x2+…+wnxn y=wTx 其中w1，w2，…，wn 是待估计的未知系数。我们称上述线性函数是线性判别法的判别函数。 假设用来区分二分类的直线（投影函数)为： 类别i的样本均值: 类别i投影后的均值为： 投影后，类别内点之间的分散程度（方差）为： 最终我们可以得到一个下面的公式，称为准侧函数。 为了找到最有利于分类的的方向W，还需要建立一个准侧函数： LDA 我们分类的目标是找到一个最优化的W，使得类别内的点距离越近越好（集中），类别间的点越远越好。 分母表示每一个类别内的方差之和，方差越大表示一个类别内的点越分散，分子为两个类别各自的中心点的距离的平方，我们最大化J(w)就可以求出最优的w 定义： （1）样本类内离散度矩阵Si和总类内离散度矩阵 （2）样本类间离散度矩阵 SB LDA LDA 然后将J(w)分子和分母分别化为： 这样目标优化函数可以化成下面的形式： 瑞利商 根据广义Rayleigh商的性质: J（w）的极值与w的大小无关，只与w的方向有关。 Fisher算法步骤总结： 由Fisher线性判别式 求解向量 的步骤： ① 把来自两类 的训练样本集 分成 和 两个子集 和 。 ② 由 ，i=1,2 ，计算 mi。 ③ 由 计算投影后各类的类内离散度矩阵 ④ 计算类内总离散度矩阵 ⑤ 计算 Sw 的逆矩阵 。 ⑥ 由 求解w* 。 月份/年龄 男孩体重(kg) 男孩身高(cm) 女孩体重(kg) 女孩身高(cm) 出生时 3.40 50.8 3.30 50.1 1~2?个月 4.56 55.2 4.36 54.2 2~3?个月 5.82 59.0 5.49 58.0 3~4?个月 6.81 62.5 6.32 61.1 4~5?个月 7.56 65.2 7.09 63.8 5~6?个月 7.93 66.8 7.51 65.7 6~7?个月 8.52 69.0 7.95 67.5 7~8?个月 8.74 70.4 8.25 69.1 8~9?个月 9.03 71.9 8.48 70.5 9~10?个月 9.42 73.5 8.85 72.2 幼儿不同年龄段的身高体重指标： 经典Fisher线性判别分析方法 LDA LDA LDA Sw奇异问题的解决方法： ● R-LDA ● PCA+LDA ● N-LDA ● D-LDA R-LDA 由于Sw总是半正定的，为了使之正定，可以将另外一个正定的对角矩阵与之相加，以两者之和代替Sw，即是： 上式中a为任意正实数，I为单位矩阵，显然对于任意的正实数a，Sw’总是非奇异的，用Sw’代替Fisher准则函数中的Sw。用上述方法就可以求解最优投影方向矩阵。在R-LDA中，对角矩阵的系数a的选择没有理论依据，可以选择多个不同的数值进行分类实验，通过实验结果来选择一个最优的值。 用Sw’代替Sw的确可以消除Sw的奇异性，但代替之后，通过最大化Fisher准则函数选取的最优投影方向矩阵就变成原始最优投影方向矩阵的一个近似矩阵，且选择不同的系数a会导致得到不同的最优投影方向矩阵。 Sw ’ =Sw+a I 为了保证Sw是非奇异矩阵,需要t+c个训练样本,当特征维数t特别大时,在实际应用中往往难以满足要求。为了解决训练样本不够的情况, 提出了中间过渡子空间,即先将t维的高维空间经过PCA降到f维的过渡子空间,再在此空间进行LDA变换,得到最终的g维子空间。更确切地说,可以表示为： PCA+LDA N-LDA Sw的奇异性意味着Fisher准则函数的分母为零，而在Fisher准则函数中，若有一投影方向可以使得Fisher准则函数分母为零，这样意味着此投影方向可以使得低维空间中的同类数据达到最小的分离。当品为奇异时，意味着有多个投影方向可以使得Fi