模式识别课件-线性函数.ppt

第3章 线性判别函数;3.1基本概念;例子;判别函数分类;3-2 线性判别函数;1. 二维情况;2. n维情况;n维情况;(二) 多类问题;1。第一种情况;1。第一种情况（续）;1。第一种情况（续）;1。第一种情况（续）;1。第一种情况（续）;1。第一种情况（续）;第二种情况：;2。第二种情况（续）;2。第二种情况（续）;第三种情况每类都有一个判别函数,存在M个判别函数;第三种情况（续）;第三种情况（续）;第三种情况（续）;3.3判别函数值的鉴别意义、权空间、解空间;模式空间;2、超平面的几何性质;超平面的几何性质;超平面的几何性质（续）;超平面的几何性质（续）;超平面的几何性质（续）;性质④：;如何求解W;该式表示一个通过加权空间原点的平面，此平面就是加权空间图中的平面①,同样令g (x2) =g (x3) =g (x4)=0，分别作出通过加权空间原点的平面②③④图中用阴影表示的部分是各平面的正侧。;加权空间及判别面;模式空间与加权空间（续;模式空间与加权空间（续）;解向量和解区;解向量的解区（续）;设计线性分类器的主要步骤;3.4Fisher分类准则; 投影样本之间的分离性用投影样本之差表示 投影样本类内离散度: ;;结论;W的选择;W的选择;最小平方误差准则(MSE法)---非迭代法;定义误差向量：e=XW-b≠0 把平方误差作为目标函数 W的优化就是使J(W)最小。求J(W)的梯度并为0。 解上方程得 XTXW=XTb 这样把求解XW=b的问题，转化为对XTXW=XTb求解，这 一有名的方程最大好处是因XTX是方阵且通常是非奇异的， 所以可以得到W的唯一解。 ; 只要计算出X+就可以得到W 取： 最小平方误差法同Fisher法是一致的。 ;3.5一次准则函数及梯度下降法;利用已知类别学习样本来获得权向量的训练过程如下;利用方程组来求解权向量 对二类判别函数g(x) = W1X1+ W2X2 +W3 已知训练集：Xa, Xb, Xc, Xd且 当 (Xa, Xb) ∈W1时 g(x)＞0 当 (Xc, Xd) ∈W2时 g(x)＜0 设 Xa = (X1a, X2a)T Xb = (X1b, X2b)T Xc = (X1c, X2c)T Xd = (X1d, X2d)T 判别函数可联立成： X1aW1+ X2aW2+ W3＞0 ① X1bW1+ X2bW2+ W3＞0 ② X1cW1+ X2cW2+ W3＜0 ③ X1dW1+ X2dW2+ W3＜0 ④ 求出W1 , W2, W3 ;将③ ④式正规化，得 -X1cW1- X2cW2- W3 0 -X1dW1- X2dW2- W3 0 所以 g(x) =WTX 0 其中W = (W1 , W2, W3)T 为各模式增1矩阵 为N*(n+1）矩阵 N为样本数，n为特征数;迭代求解思路;梯度下降法—迭代法步骤;Ρk的选择;感知器法;主要步骤; 求最小值对W求梯度 代入迭代公式中Wk+1 = Wk-ρk▽J 由J(W)经第K+1次迭代的时候，J(W)趋于0，收敛于所求的W值;;ρk选择准则 ;例题：有两类样本 ω1=（x1,x2）={(1,0,1),(0,1,1)} ω2=（x3,x4）={(1,1,0),(0,1,0)} 解：先求四个样本的增值模式 x1=(1,0,1,1) x2=(0,1,1,1) x3=(1,1,0,1) x4=(0,1,0,1) 假设初始权向量 w1=(1,1,1,1) ρk=1 第一次迭代： w1Tx1=(1,1,1,1) (1,0,1,1)T=30 所以不修正 w1Tx2=(1,1,1,1) (0,1,1,1)T=30 所以不修正 w1Tx3=(1,1,1,1) (