现代优化计算的方法.docxVIP

西安理工大学研究生课程论文/研究报告课程名称：现代优化计算方法课程代号： 030219 任课教师：张广鹏 论文/研究报告题目：前馈神经网络的分阶段学习法综述完成日期： 2011 年 8 月 1 5 日学 科： 学 号： 1008020130 姓 名： 马娜 成 绩： 前向神经元网络的分阶段学习法综述1　引　言　人工神经网络（Artificial Neural Networks，NN）系统从20世纪40年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。自1974年，Werbos提出BP学习理论，1982年学者Rumeehart提出BP算法以来，反向传播学习算法( Back- PropagationA妙rithm)是目前最为广泛、最具影响的人工神经网络(Artificial Neural Network)学习算法之一。基于误差反向传播（Error Back Propagation）算法的多层前馈网络（Multiple-Layer Feedforward Network）（简称BP网络）和它的变化形式，体现了人工神经网络的最精华部分。BP网络可看作是从输入到输出的高度非线性映射，即:f :，其本质，从输入∈到输出∈可存在某一映射g(*)，使g()= (i=1,2…N)，要求出映射f，使得在某种意义下(通常在最小二乘意义下)，f是g的最佳逼近,神经网络对简单的非线性函数进行数次复合，可近似表达复杂的函数，它的存在性问题可由Kommog-orow定理及BP定理给出。BP网络的学习规则通常采用的是1949年心理学家Hebb提出的Hebb学习规则。BP网络主要用于：（1）函数逼近，用输入矢量和相应的输出矢量训练一个网络逼近一个函数；（2）模式识别，用一个特定的输出矢量将它与输入矢量联系起来；（3）分类，把输入矢量以所定义的合适方式进行分类；（4）数据压缩，减少输出矢量维数以便于传输或贮存。2　BP算法的分析 2.1BP网络结构隐层输出层输入层图2.1多层BP网络不仅有输入节点、输出节点，而且有一层或多层隐节点，如图2.1所示。BP神经元的传输函数目前广为采用的是Sigmoid函数，简称S型函数，即取神经元的输出为 （2-1）Sigmoid函数的图像如图2.2。S型函数具有以下一些良好的特性：（1）当I较小时，也有一定的O值相对应，即输人到神经元的信号比较弱时，神经元也有输出，这样不丢失信号较小的信息；（2）当I较大时，输出趋于常数，不会出现“溢出”现象；（3）具有良好的微分特性，即有 （2-2）.而BP神经元的输出层函数一般为线性函数，采用线性函数可以使输出值取任意值。2.2 BP网络的学习在确定了BP网络结构后，要通过输入输出样本集对网络进行训练，亦即对网络的阈值和权值进行学习和修正，以使网络实现给定的输入输出映射关系。BP网络的学习过程主要分为两个阶段：第一个阶段是输入已知学习样本，通过设置的网络结构和前一次迭代的权值和阈值，从网络的第一层向后计算各神经元的输出。第二个阶段是对权值和阈值进行修改，从最后一层向前计算各权值和阈值对误差的影响（梯度），从而对权值和阈值进行修改。以上两个过程反复交替，知道达到收敛为止。由于误差逐层往回传递，以修正层与层之间的权值和阈值，所以该算法为误差反向传播（back propagation）算法，这种误差反向学习算法可以推广到有若干个中间层的多层网络，因此该多层网络常称之为BP网络。标准的BP算法是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行的。以下针对标准BP算法说明具体解析步骤：初始化：给权值、和阈值、赋予(-1, 1)之间的随机值。随机取一对样本对网络进行训练计算中间层的输入/出：输入：，输出： （2-3）计算输出层的输入/出输入：，输出： （2-4）计算输出层的一般误差 （2-5）计算中间层的一般误差 （2-6）修改输出层的权值和阈值 （2-7） （2-8）修正隐层的权值和阈值 （2-9） （2-10）取下一对样本返回（3）开始训练，直到m个样本训练结束判断全局误差是否小于预定值，否则，回到（2）重新进行训练，直到满足要求或达到预定训练次数，停止训练。3 标准BP算法存在的问题及BP算法的改进算法标准的BP算法存在着易形成局部极小值 ,训练陷入瘫痪和收敛速度很慢的问题 ,从而影响了它的实际使用。为此 ,人们在标准BP算法的基础上进行了许多有益的改进 ,改进方法主要有两类 :一是基于标准梯度下降的改进方法如附加动量的BP算法、自适应学习率调整法、弹性BP算法等 ;二是基于标准数值优化的改进算法如共轭梯度法、拟牛顿法和Levenberg -Marquar