神经网络分类器.ppt

第五章 神经网络分类器 5.1 感知器算法 5.2 神经网络分类器 5.1 感知器算法 人工神经网络研究的发展： 1943年，提出形式神经元的数学模型，人工神经网络研究的开端。 1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。 50年代，研究类似于神经网络的分布系统。 50年代末提出感知模型，把神经网络的实现付诸工程实践。 1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。 1986年，提出多层感知器的反向传播算法。 现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。 二、人工神经元 神经元的基本工作机制： 2、人工神经元 初始化： 给定一个训练模式集{x1, x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。 xi＝(xi1, xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1, xi2,…xin,1) ω2类样本乘以－1。 权向量w为(n+1)维向量。 感知器算法步骤 例1：试用感知器算法求出下列两类的判别函数。 ω1：{(0,0)T,(0,1)T}， ω2：{(1,0)T,(1,1)T}， 上机作业三： ω1=(x1,x2)={(1,0,1),(0,1,1)} ω2=(x3,x4)={(1,1,0),(0,1,0)} 使用感知器算法给出区分两类模式的判别函数。 5、感知器算法收敛性分析 6、感知器算法在多类问题中的应用 如果xk∈ωi和dl(xk) ≥ di(xk) (l≠ i)则： wi(k+1)=wi(k)+ρxk wl(k+1)=wl(k)-ρxk wj(k+1)=wi(k)(任意j ≠ l, i) 实验四：实验所用样本数据如表给出，编制程序实现ω1、ω2、ω3、ω4类的分类。 7、感知器算法推广 感知机Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff) 《Perceptron》 (Minsky Papert, 1969) Hopfield模型 (Hopfield，1982) 多层感知机MLP与反向传播算法BP (Rumelhart, 1986) 神经网络本质上可以理解为函数逼近，可以应用到众多领域： 优化计算 信号处理 智能控制 模式识别 机器视觉等 Hebb学习规则： 如果神经元ui接收来自另一神经元uj的输出，则当这两个神经元同时兴奋时，从uj到ui的权值wij就得到加强，可写成： 前馈神经网络：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。 前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出联接。 可见层：输入层和输出层 隐层：中间层 例：感知器 三层前馈神经网络 三层神经网络实现非线性分类 三层前馈网络的使用范围大大超过二层前馈网络，但学习方法较为复杂，主要困难是中间的隐层不直接与外界连接，无法直接计算其误差。 利用梯度下降原理 为使误差尽快减小，令修正量为： Δwij=-ησjOi wij(t+1)=wij(t)+ Δwij(t) t为迭代次数 误差反向传播原理示意图 反向传播算法 讨论 径向基函数：沿某种径向对称的标量函数。空间中任意一点x到某一中心xc之间欧氏距离的单调函数，记作： 网络特点： 只有一个隐层，输入层到隐层之间的权值均固定为1，隐层单元采用径向基函数作为其输出特性。 输出节点为线性输出单元，隐层到输出节点之间的权值可调，输出为隐层的加权求和。 5.2.2 竞争学习和侧抑制 上述前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。引进竞争机制的前馈网络可以实现无监督学习，完成聚类的任务。 讨论： 网络不可能收敛到修正量趋向于零的状态，采用强制收敛方法，在学习过程中将步长参数η缓慢减小至零。 学习结果受初始值和学习样本顺序影响很大，聚类的结果不一定理想，需要加入适当的人工干预。例：先选择少量典型性好的样本作为权向量初始值。 概念 依据大脑对信号处理的特点，提出了一种神经网络模型——自组织特征映射模型，自组织特征映射模型是典型的自组织系统，因而也有人称其为“自组织模型”。 由输入层和竞争层构成的两层网络。两层之间的各神经元实现双向全连接，网络中没有隐含层。 自组织的过程实际上就是一种无指导的学习。它通过自身训练，自动对输入模式进行分类。 学习方法和学习过程