线性判别函数.pptVIP

XOR问题的二次函数解分段线性函数—聚类的方法分段线性函数—逐块二分法问题的表达感知器算法最小均方误差算法(LMSE)0102034.4两类别线性判别函数的学习已知两个类别的训练样本集合：01求向量W，使得d(X)=WTX，能够区分?1类和?2类。02问题的表达问题的表达矩阵形式描述X称为增广矩阵。01只有当样本集线性可分的条件下，解才存在；02线性不等式组的解是不唯一；权矢量的解4.5感知器准则感知器准则是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器(Perceptron)，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。感知器：Perceptron，Rosenblatt线性可分性：训练样本集中的两类样本在特征空间可以用一个线性分界面正确无误地分开。在线性可分条件下，对合适的(广义)权向量a应有：规范化样本向量：将第二类样本取其反向向量感知器基本概念感知器准则函数对于任何一个增广权向量a，对样本y正确分类，则有：aTy0对样本y错误分类，则有：aTy0定义一准则函数JP(a)(感知准则函数)：被错分类的规范化增广样本集恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不存在错分样本）时，JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。感知器梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。1感知器2梯度下降算法感知器算法的思想初始化，置W(1)中的元素为一个小的随机数；在第k步学习训练样本Xk，按照如下公式修正权值W：重复第2步，直到所有训练样本被正确识别。感知器算法设W为N维列矢量，A为一个N*M的矩阵：结果是一个N维列矢量。矢量与矩阵的乘法01.设W和X为N维列矢量，如果W与X的内积等于零：02.则称W与X正交，也称W垂直于X。正交A为一个N*N的方阵，A的逆阵用A-1表示，满足：01其中I为单位阵。一个矩阵的逆阵存在条件：1)是一个方阵，2)是一个满秩矩阵，矩阵的秩为N02逆矩阵矩阵的特征值和特征向量logoA为一个N*N的方阵，如果有：数?称为A的特征值，矢量ξ称为A的特征矢量。矩阵的迹和行列式值A为一个N*N的方阵，A的迹为主对角线元素之和：矩阵的迹、行列式值与特征值之间的关系矩阵A有N个特征值?1，?2，…，?N，则有如下关系：矩阵对数值变量微分矩阵A(t)=[aij(t)]M*N，元素aij(t)是变量t的函数，矩阵A(t)对t的微分：矩阵函数对矩阵的微分矩阵X=(xij)M*N，M*N元函数f(X)，定义f(X)对矩阵X的导数：常用矢量微分的性质X和W为N维矢量，A为M*N的矩阵：1两类问题2多类问题4.3.1线性判别函数4.3线性（与非线性）判别函数AX0=(x1,x2,…,xN)T为待识模式的特征矢量；BW0=(w1,w2,…,wN)T称为权矢量。两类问题的线性判别函数x=(x1,x2,…,xd)t:特征矢量；01w=(w1,w2,…,wd)t:权矢量；02w0：偏置(bias)。03线性判别函数X=(x1,x2,…,xN,1)T称为增广的特征矢量；W=(w1,w2,…,wN,1)T称为增广的权矢量。0102线性判别函数的增广形式两类问题线性判别准则这种情况可以把M个类别的多类问题分解为M个两类问题解决；02每一类模式可以用一个超平面与其它类别分开；01多类问题（情况一）多类问题（情况一）当d1(X)≥0，而d2(X)0且d3(X)0时，判别X属于Ω1；1当d2(X)≥0，而d1(X)0且d3(X)0时，判别X属于Ω2；2当d3(X)≥0，而d1(X)0且d2(X)0时，判别X属于Ω3；3其它情况，拒识。4多类问题（情况一）判别规则每两类之间可以用一个超平面分开，但是不能用来把其余类别分开；需要将M个类别的多类问题转化为M(M-1)/2个两类问题。第i类与第j类之间的判别函数的为：多类问题（情况二）A如果对任意j≠i，有dij(X))≥0，则决策X属于?i。B其它情况，则拒识。多类问题（情况二）判别准则多类问题（情况二）多类问题（情况三）情况三是情况二的特例，不存在拒识区域。0102M个类别需要M个线性函数：判别准则：多类问题（情况三）判别函数线性判别函数是形式最为简单的判别函数，但是