神经网络分类器 教学教材.ppt

第五章 神经网络分类器;5.1 感知器算法;人工神经网络研究的发展： 1943年，提出形式神经元的数学模型，人工神经网络研究的开端。 1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。 50年代，研究类似于神经网络的分布系统。 50年代末提出感知模型，把神经网络的实现付诸工程实践。 1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。 1986年，提出多层感知器的反向传播算法。 现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。;二、人工神经元;神经元的基本工作机制：;2、人工神经元;双曲正切函数：; f 为阈值函数：;算法描述;初始化： 给定一个训练模式集{x1, x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。 xi＝(xi1, xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1, xi2,…xin,1) ω2类样本乘以－1。 权向量w为(n+1)维向量。;感知器算法步骤;例1：试用感知器算法求出下列两类的判别函数。 ω1：{(0,0)T,(0,1)T}， ω2：{(1,0)T,(1,1)T}，;上机作业三： ω1=(x1,x2)={(1,0,1),(0,1,1)} ω2=(x3,x4)={(1,1,0),(0,1,0)} 使用感知器算法给出区分两类模式的判别函数。;5、感知器算法收敛性分析;6、感知器算法在多类问题中的应用;如果xk∈ωi和dl(xk) ≥ di(xk) (l≠ i)则： wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)-ρxk wj(k+1)=wi(k)(任意j ≠ l, i) ;例2：已知训练样本(0，0)’属于ω1类，(1，1)’属于ω2类，( -1，1)’属于ω3类，试求解向量w1*, w2* , w3*;实验四：实验所用样本数据如表给出，编制程序实现ω1、ω2、ω3、ω4类的分类。 ;7、感知器算法推广;感知机Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff) 《Perceptron》 (Minsky Papert, 1969) Hopfield模型 (Hopfield，1982) 多层感知机MLP与反向传播算法BP (Rumelhart, 1986);神经网络本质上可以理解为函数逼近，可以应用到众多领域： 优化计算 信号处理 智能控制 模式识别 机器视觉等;常用输出函数：;Hebb学习规则： 如果神经元ui接收来自另一神经元uj的输出，则当这两个神经元同时兴奋时，从uj到ui的权值wij就得到加强，可写成：;前馈神经网络：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出联接。 可见层：输入层和输出层 隐层：中间层;;例：感知器;三层前馈神经网络;三层神经网络实现非线性分类;实线：+;有4个模式，要分为2类：;适当选取神经元的输出函数，两层前馈神经网络可以逼近任意的多元非线性函数 若有足够多的隐单元，任何从输入到输出的连续函数都可以用一个这样的三层网络任意精度近似 三层或三层以上的前馈网络通常被叫做多层感知器(MLP) MLP的适用范围大大超过单层网络;多层前馈网络 双层网络→一个线性边界 三层或三层以上→任意决策边界;三层前馈网络的使用范围大大超过二层前馈网络，但学习方法较为复杂，主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。;某一层第j个计算单元：;正向过程：;利用梯度下降原理 为使误差尽快减小，令修正量为： Δwij=-ησjOi wij(t+1)=wij(t)+ Δwij(t) t为迭代次数;误差反向传播原理示意图;反向传播算法;讨论;径向基函数：沿某种径向对称的标量函数。空间中任意一点x到某一中心xc之间欧氏距离的单调函数，记作：;网络特点： 只有一个隐层，输入层到隐层之间的权值均固定为1，隐层单元采用径向基函数作为其输出特性。 输出节点为线性输出单元，隐层到输出节点之间的权值可调，输出为隐层的加权求和。;径向基函数网络的作用 对未知函数f(x)的逼近器。输出为隐层的线性加权求和，采用基函数的加权和来实现对函数的逼近 隐层把原始的非线性可分的特征空间变换到另一个空间（通常是高维空间），使之可