模式识别判别函数.ppt

一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？（如下图（a），线性不可分）例：4个样本有几种分法。图（b）①直线把x1分开，每条直线可把4个样本分成ω1ω2类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。4。二分法能力（a）x1x2x3x4⑥③②④⑤⑦（b）第37页,共53页，星期六，2024年，5月结论：N个样品线性可分数目(条件：样本分布良好）：4。二分法能力（续）对N和n各种组合的D(N,n)值，表示在下表中，从表中可看出，当N，n缓慢增加时D(N,n)却增加很快。第38页,共53页，星期六，2024年，5月12345612222222444444368888848141616161651022303232324。二分法能力（续）线性可分概率：第39页,共53页，星期六，2024年，5月把上式用曲线表示成下图：图中横坐标用λ=N/n+1表示。由图讨论：4。二分法能力（续）第40页,共53页，星期六，2024年，5月结论：在实际工作中，分类的训练非常重要，由已知样本来训练。因为已知样本有限，而未知样本无限。选择已知类别的训练样本数方法如下：4。二分法能力（续）第41页,共53页，星期六，2024年，5月①：如果训练样本NN0，设计分类器的分类能力太差，因为训练样本太少。②：如果训练样本N太多时，则样本太多，运算量、存储量太大。③：因此实际工作中应该取：②4。二分法能力（续）第42页,共53页，星期六，2024年，5月§2-4、广义线性判别函数这样一个非线性判别函数通过映射，变换成线性判别函数。判别函数的一般形式：第43页,共53页，星期六，2024年，5月§2-4、广义线性判别函数（续）例：如右图。第44页,共53页，星期六，2024年，5月§2-4、广义线性判别函数（续）要用二次判别函数才可把二类分开：ω2ω1ω2第45页,共53页，星期六，2024年，5月§2-4、广义线性判别函数（续）从图可以看出：在阴影上面是ω1类，在阴影下面是ω2类，结论：在X空间的非线性判别函数通过变换到Y空间成为线性的，但X变为高维空间ω2ω1ω2第46页,共53页，星期六，2024年，5月1.分段线性判别函数（用线性无法分开,可用分段线性判别函数）①、基于距离的分段线性判别函数。（用均值代表一类，通过均值连线中点的垂直线分开）把ωi类可以分成li个子类:∴分成l个子类。现在定义子类判别函数：在同类的子类中找最近的均值。判别规则：这是在M类中找最近均值。则把x归于ωj类完成分类。§2-5、非线性判别函数ⅡⅢ第47页,共53页，星期六，2024年，5月§2-5、非线性判别函数（续）例：未知x,如图：先与ω1类各子类的均值比较，即，找一个最近的与ω2各子类均值比较取最近的因g2(x)g1(x)，所以x∈ω2类。第48页,共53页，星期六，2024年，5月设ω＝ω1,ω2,……ωm而每一类又可以分为子类。对每个子类定义一个线性判别函数为：则定义ωi类的线性判别函数为：②、基于函数的分段线性判别函数利用均值代表一类有时有局限性，如图所示。若用线性判别函数代表一类，就会克服上述情况。1、分段线性判别函数第49页,共53页，星期六，2024年，5月在各子类中找最大的判别函数作为此类的代表，则对于M类，可定义M个判别函数gi(x),i=1,2,…..M,因此，决策规则：对未知模式x，把x先代入每类的各子类的判别函数中，找出一个最大的子类判别函数，M类有M个最大子类判别函数，在M个子类最大判别函数中，再找一个最大的，则x就属于最大的子类判别函数所属的那一类。1、分段线性判别函数（续）第50页,共53页，星期六，2024年，5月③、基于凹函数的并分段线性判别函数（针对多峰情况）设li子类判别函数，i=1,2,…..r则分段线性判别函数有如下特性：1、分段线性判别函数（续）(a