6-线性分类器设计-第六节.ppt

因此下降算法不论XTX是否奇异，总能产生一个解。 若训练样本无限的重复出现，则简化为 W1任意 Wk+1=Wk+ρk(bk-WkTXk) Xk ρk随迭代次数k而减少，以保证算法收敛于满意的W值 Fisher分类准则 现在讨论通过 映射投影来降低 维数的方法。 X空间 X= WTX-W00 X∈ω1 X= WTX-W00 X∈ω2 映射Y空间 Y=WTY-W00 X∈ ω1 Y=WTY-W00 X∈ω2 把X空间各点投影到Y空间一直线上，维数由2维降为一 维。若适当选择W的方向，可以使二类分开。下面我们从 数学上寻找最好的投影方向，即寻找最好的变换向量W的 问题。 w(y) w y1 y2 x2 x1 ω1 ω2 投影样本之间的分离性用投影样本之差表示 投影样本类内离散度: i=1,2 i=1,2 类间散布矩阵 上式就是n维x空间向一维y空间的最好投影方向， 它实际是多维空间向一维空间的一种映射。 其中Sw为类内散布矩阵, Sb为类间散布矩阵 现在我们已把一个n维的问题转化为一维的问题。 现在一维空间设计 Fisher分类器: W0的选择 ???? ????? ???? Yki表示第i类中第k个样本的投影值 N1为ω1样本数 N2为ω2样本数? 当W0选定后，对任一样本X，只要判断Y=WTX W0 则 X∈ω1; Y=WTX W0 则X∈ω2。分类问题就解决了 线性分类器的设计 郏东耀 思路： 首先选定判别函数类和一定的目标（准则），利用样本集确定出函数类中的某些未知参数，使所选的准则最好。 线性分类器的设计 线性分类器的设计 线性判别函数形式为:g(x)=WTX 其中 X= (X1, X2…Xn) n维特征向量 W= (W1, W2 … Wn , Wn+1) n维权向量 通常通过特征抽取可以获得n维特征向量，因此n维 权向量是要求解的。 求解权向量的过程就是分类器的训练过程，使用已 知类别的有限的学习样本来获得分类器的权向量被称为 有监督的训练。 利用已知类别学习样本来获得权向量的训练过程如下 已知x1 ∈ω1, 通过检测调整权向量，最终使x1 ∈ω1 已知x2 ∈ω2, 通过检测调整权向量，最终使x2 ∈ω2 这样就可以通过有限的样本去决定权向量 x1 x2 ……. xn 1 w1 w2 wn wn+1 ∑ 0 x∈ω1 检测 (已知类别) W1 X1 W2 X2 Wn Xn Wn+1 0 x∈ω2 g(x)=wTx 利用方程组来求解权向量 对二类判别函数g(x) = W1X1+ W2X2 +W3 已知训练集：Xa, Xb, Xc, Xd且 当 (Xa, Xb) ∈W1时 g(x)＞0 当 (Xc, Xd) ∈W2时 g(x)＜0 设 Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判别函数可联立成： X1aW1+ X2aW2+ W3＞0 ① X1bW1+ X2bW2+ W3＞0 ② X1cW1+ X2cW2+ W3＜0 ③ X1dW1+ X2dW2+ W3＜0 ④ 求出W1 , W2, W3 将③ ④式正规化，得 -X1cW1- X2cW2- W3 0 -X1dW1- X2dW2- W3 0 所以 g(x) =WTX 0 其中W = (W1 , W2, W3)T