感知器算法完整版本.pptVIP

3.4最小平方误差准则函数与H-K算法例2：已知两类训练样本为：试用H-K算法求解向量W*。解：训练样本的增广矩阵：的伪逆矩阵为：3.4最小平方误差准则函数与H-K算法令c=1和则：误差向量：由于的各个分量均为负值，迭代下去b的各分量不会再变化，说明训练样本是线性不可分的，可立即中止迭代算法。3.4最小平方误差准则函数与H-K算法四、多类问题：设有c类：利用第2章线性可分的第一种情况(其它情况类似可做)：判决规则：若gi(x)0且gj(x)0(j=1,2,…,c,)，则判：c类可有c个判别函数，且具有以下性质：3.4最小平方误差准则函数与H-K算法把c类问题转化为c个两类问题，分别对c个两类问题进行训练，就可得到c个解向量，进而建立c个判决函数。对两类问题如何选取样本？在除类之外的训练样本中选取适当足够的样本，与的样本一起共同构成训练样本集，利用前面两类问题的H-K算法求解：3.4最小平方误差准则函数与H-K算法由训练样本集构成增广矩阵,求伪逆：(2)赋给初值,应使各分量均为正值，选正常数,置;(3)计算：(4)若的负的分量停止变为正或各分量均为负，则线性不可分，中止迭代；否则，若的各3.4最小平方误差准则函数与H-K算法量均接近0，即，迭代过程完成，算法结束；否则继续。(5)计算：(6)令，返回(3)在上述算法中，令分别进行c次训练，即可得c个解向量和c个判决函数。例3：已知三类训练样本试用H-K算法求解向量、、。解：3.5势函数法特点：可以直接确定判决函数，而且不仅适用于线性分类器，还适合于非线性分类器。基本思想(以两类问题为例)：把类的样本点设想成能源，在该点正电位达到最大值，而随着与该点距离的增大，正电位越来越低。高低低高3.5势函数法同样，把属于类的样本点设想另一种能源，在该点上负电位达到最大值，而随着与该点距离的增大，负电位越来越低。这样，在类型的样本聚集区域形成电位势能的“高地”，而在类型的样本聚集区域形成电位势能的“洼地”。电位为零的等位点的轨迹就可以作为区分界面。3.5势函数法一、势函数的概念设表示与之间的电位势函数，它满足三个条件：(1),当且仅当时,达到最大值;(2)当与之间的距离趋近于无穷大时，趋近于0，即：是光滑函数，并且是与之间距离的单调下降函数。3.5势函数法积累电位势函数：所有样本点(含的所有点)的电位势函数在任一点产生的电位总和被称为积累电位势函数，表示为。如果能够把样本正确分类，可取为判决函数，即：。的修正：在训练过程中，逐个加入训练样本，根据分类是否正确决定积累电位势函数