模式识别课件线性函数.ppt

④输入x4=(1,-1)Tx3∈ω2代入K3(x4)=e-2-e-40所以需要修正K4(x)=K3(x)-K(x，x4)=exp{-(x12+x22)}-exp{-[(x1-1)2+(x2-1)2]}-exp{-[(x1-1)2+(x2+1)2]}?第二次迭代⑤输入x5=x1=(0,-0)Tx5∈ω1代入K4(x5)=1-e-2-e-40K5(x)=K4(x)⑥输入x6=x2=(2,0)Tx6∈ω1代入K5(x6)=e-4-e-2-e-2=0所以需要修正K6(x)=K5(x)+K(x，x6)=exp{-(x12+x22)}-exp{-[(x1-1)2+(x2-1)2]}-exp{-[(x1-1)2+(x2+1)2]}+-exp{-[(x1-2)2+x22]}第101页,共101页，星期六，2024年，5月例题：ω1={(0,0)T,(0,1)T}ω2={(1,0)T,(1,1)T}解：正规化对ω2取负，有X的规范矩阵为x2x1x1x2x3x4第69页,共101页，星期六，2024年，5月例子（续）取b1=(1,1,1,1)Tc=1W1=X+b1=(-2,0,1)T所以W1为所求解e1=XW1-b1=0系统线性可分因为第70页,共101页，星期六，2024年，5月不可分情况：若四个样本变成：ω1={(0,0)T,(1,1)T}ω2={(0,1)T,(1,0)T}解：取b1=(1,1,1,1)Tc=1W1=X+b1=(0,0,0)Te1=XW1-b1=(-1,-1,-1,-1)T0系统线性不可分C为校正系数,取0＜C≤1在算法进行过程中，应在每一次迭代时，检测ek的值。只要出现ek0，迭代就应立即停止。?x2x111第71页,共101页，星期六，2024年，5月3.8线性二分法能力一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？（如下图（a），线性不可分）例：4个样本有几种分法。图（b）①直线把x1分开，每条直线可把4个样本分成ω1ω2类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。（a）x1x2x3x4⑥③②④⑤⑦（b）第72页,共101页，星期六，2024年，5月二分法能力（续）结论：N个样品线性可分数目(条件：样本分布良好）：对N和n各种组合的D(N,n)值，表示在下表中，从表中可看出，当N，n缓慢增加时D(N,n)却增加很快。第73页,共101页，星期六，2024年，5月二分法能力（续）

1234561222222244444436888884814161616165102230323232线性可分概率：第74页,共101页，星期六，2024年，5月二分法能力（续）把上式用曲线表示成下图：图中横坐标用λ=N/n+1表示。由图讨论：第75页,共101页，星期六，2024年，5月二分法能力（续）结论：在实际工作中，分类的训练非常重要，由已知样本来训练。因为已知样本有限，而未知样本无限。选择已知类别的训练样本数方法…..第76页,共101页，星期六，2024年，5月实际样本选取①：如果训练样本NN0，设计分类器的分类能力太差，因为训练样本太少。②：如果训练样本N太多时，则样本太多，运算量、存储量太大。③：因此实际工作中应该取：②第77页,共101页，星期六，2024年，5月3.9广义线性判别函数

这样一个非线性判别函数通过映射，变换成线性判别函数。判别函数的一般形式：第78页,共101页，星期六，2024年，5月广义线性判别函数（续）

例：如右图。第79页,共101页，星期六，2024年，5月广义线性判别函数（续）要用二次判别函数才可把二类分开：ω2ω1ω2第80页,共101页，星期六，2024年，5月广义线性判别函数（续）从图可以看出：在阴影上面是ω1类，在阴影下面