模式识别课件第五章非线性判别.ppt

************************图5.6与图5.5对应的树状决策过程第16页,共32页，星期六，2024年，5月5.2用凹函数的并表示分段线性判别函数一、分段线性判别函数的表示1.凹函数的定义⑴设Li是线性函数（i=1，2，….，r），则分段线性函数可定义如下：①L1,L2,.......,Lr都是分段线性函数。②和也是分段线性函数，式中表示取小；表示取大。③分段线性函数只有上述①和②形式。第17页,共32页，星期六，2024年，5月(2)分段线性函数的一般表达式析取范式合取范式对于析取范式P中的每个称为一个凹函数。所以P是q个凹函数的并，即在q个凹函数中求最大的凹函数（因为是求最大）第18页,共32页，星期六，2024年，5月2.使用凹函数的并完成分类对于多峰分布的两类问题，设P中的每个凹函数（粗略的）确定了某个类的一个峰。若此类呈现q个峰的分布，则P由q个凹函数Pi的并构成，记为:而每个凹函数Pi又是由mi个线性判别函数Lij的交构成。即再设对于每个都设计成使则r个权向量a1,…,ar就能对样本集正确分类，第19页,共32页，星期六，2024年，5月决策(判别)规则为：说明：分段线性判别函数P是样本集?和权向量的函数。例如：参照图5.7。两类问题。o表示类，x表示类，对于类，有3个子类（即q=3），对于每个子类分别有5、4、4个分段线性函数（即m1=5，m2=4，m3=4）。即共有13个线性判别函数。则分段线性判别函数P为：或写成取大取小形式。第20页,共32页，星期六，2024年，5月第21页,共32页，星期六，2024年，5月二、算法描述见书P126第22页,共32页，星期六，2024年，5月5.3用交遇区的样本设计分段线性分类器一、引言实际中，有时类域的形状比较复杂，凹凸交替，并且两类靠的较近，甚至还可能部分重叠。我们将两类模式十分靠近或重叠混杂的区域称为交遇区，如图5.10中的a，c交迭区，b靠近区。对此情况不能简单的使用全部训练样本进行训练来产生线性判别函数，应对那些交遇区十分“精细”地对待，取出交遇区中的训练样本，用这些局部训练样本产生“局部”的线性判别函数，再由这些线性判别函数构成分段线性判别函数。第23页,共32页，星期六，2024年，5月第24页,共32页，星期六，2024年，5月这种方法使组成分段线性函数的线性函数最少。这种方法涉及以下几个基本问题： ①找出交遇区 ②由交遇区中的样本产生线性判别函数 ③分类决策第25页,共32页，星期六，2024年，5月二、寻找交遇区和紧互对原型对1.何为交遇区和紧互对原型对设两类下，有对应的两个样本集?1和?2（即?1对应?1类，?2对应?2类）。先用聚类分析方法将每类分成若干个子聚类。每个子聚类在Ω中占据一定区域，称为“原型区”；每个子聚类的“重心”或“类心”，或最靠近类心的一个样本称为该子聚类的“原型”.这时，每个子聚类可用它的原型表示，而每一类则可由这类的全部原型来表示。而交遇区的表示就是用这些原型来实现的。第26页,共32页，星期六，2024年，5月令Vi表示?i类的原型集合式中：vij（j=1，…，li）为?i类的第j个原型，li为?i类中的原型个数。我们用表示一个互对的原型对。第27页,共32页，星期六，2024年，5月用表示两个互对的原型之间的欧式距离，而当且仅当满足时，称为紧互对原型对（必须是不同类的原型）。其意义参见图5.11。第28页,共32页，星期六，2024年，5月2.寻找紧互对原型对集合R的算法步骤Step1：对于每一个原型，在中找出离它最近的原型v2n（v1m）。记作集合（m=1，2，…，l1）Step2：对于每一个原型，在中找出离它最近的原型v1m（v2n）。记作集合：（n=1，2，…，l2）Step3：找出的交集，即为R，第29页,共32页，星期六，2024年，5月显然，中的紧互对原型对都位于两类样本的交遇区，所