[学科竞赛]模式识别_UCAM教程a03.ppt

现代模式识别 模式识别 3.1 用判别域界面方程分类的概念 3.2 线性判别函数 此方程表示一超平面 。它有以下三个性质: (1)系数矢量 ，是该平面的法矢量。 (2)判别函数 的绝对值正比于 到超平面 的距离。 (3)判别函数值的正负表示出特征点位于哪个半空间中。 即 称 为Fisher变换函数 3.5.3 感知器训练算法在多类问题中的应用 判别规则：对于c类问题，应建立c个判别函数： di(x) = wi’xi (i=1,2,…,c)如果x??i，则有wi’x wj’x (? j?i)因此判别规则是 若 di(x) dj(x) ? j?i 则判x??i 算法步骤： (1) 赋初值,分别给c个权矢量wi(i=1,2,…,c)赋任意的初值，选择正常数?，置步数k=1。 算法步骤： (1) 赋初值,分别给c个权矢量wi(i=1,2,…,c)赋任意的初值，选择正常数?，置步数k=1。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 例题:已知训练样本(0,0)T??1，(1,1)T??2 ，(-1,1)T??3, 试求解向量w1、w2和w3。 H-K算法步骤 H-K算法步骤 例：已知如图(3-12-1)所示两类训练样本： 试用势函数法进行分类器训练。 一次准则函数及梯度下降法也可以推广应用于多类问题。由于多类问题的第三种分类途径没有不确定区，我们只针对这种途径介绍感知器训练算法，其它算法是类似的。 从3.4节开始介绍第一步：利用训练样本求解权矢量，首先是用Fish判别的方法。 的项数为： 的维数 令 其中 3.10 二次判别函数 二次判别函数是一种常用的非线性判别函数，函数构造比较简单，适用面比线性判别函数要广。 在 n 维特征空间中，二次判别函数的一般表示式为： 二次判别函数图例 一般的判别规则是： 计算训练模式 构造判别函数： 对未知模式： 特点：（ 1）可直接确定判决函数 （ 2）适用于非线性和线性可分的情况 3.12 位势函数分类法 位势函数的概念： 位势为0的等位线——判决界面（判别函数） 对于两类问题?1，?2，认为  如果x??1，则x 带正电荷 如果x??2，则x 带负电荷 位势函数图例 位势函数图例 与感知器算法类似，位势函数训练算法也可以用于多类问题，其技术要点是： ⑴设初始积累位势函数 ,这里 i 表示类别, i = 1,2,…,c。 ⑵ 当 时，迭代规则是 如果 则 如果 则 解：选用第二类势函数，令?=1，在二维情况下， 为积累位势函数 [ ] )] ( exp[ ) ) 0 ( ) 0 ( ( exp ) , ( ) ( , , 1 2 2 2 1 2 2 2 1 1 1 1 1 x x x x x x K x K x j + - = - + - - = = ? = r r r r w 令 判别界面 判别界面 x2=x1-1 x2=1-x1 已知两类训练样本：试用势函数法设计分类器。 作业： 分类→特征空间的划分→寻求子区域的界面→判别函数→判别函数的结构与参数的确定→待识别模式特征矢量代入判别函数后取值。 （2）运用感知器训练算法。置k=1，增量?=1，赋初值：w1=(0,0,0)T, w2=(0,0,0)T, w3=(0,0,0)T,进行迭代运算： 解:（1）训练样本分量增广化。将训练样本变成增广训练模式：x1=(0,0,1)T, x2=(1,1,1)T, x3=(-1,1,1)T