反向传播神经网络.pptVIP

trainbpm.m可以训练一层直至三层的带有附加动量因子的反向传播网络。 下面是对单层网络使用函数trainbpm.m的情形： [W，B，epochs，errors]＝trainbpm(W，B，’F’，P，T，TP)； 6．6．2 误差函数的改进 包穆(Baum)等人于1988年提出一种误差函数为： 不会产生不能完全训练的麻痹现象。 6．6．3 自适应学习速率 通常调节学习速率的准则是：检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应该减小学习速率的值。下式给出了一种自适应学习速率的调整公式： MATLAB工具箱中带有自适应学习速率进行反向传播训练的函数为：trainbpa.m。它可以训练直至三层网络。使用方法为： [W，B，epochs，TE]＝trainbpa(W，B，’F’，P，T，TP) 可以将动量法和自适应学习速率结合起来以利用两方面的优点。这个技术已编入了函数trainbpx.m之中。这个函数的调用和其他函数一样，只是需要更多的初始参数而已： TP＝[disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W，B，epochs，[error; lr]]＝trainbpx(W，B，F，P，T，TP) 4．7 本章小结 1)反向传播法可以用来训练具有可微激活函数的多层前向网络以进行函数逼近，模式分类等工作； 2)反向传播网络的结构不完全受所要解决的问题所限制。网络的输入神经元数目及输出层神经元的数目是由问题的要求所决定的，而输入和输出层之间的隐含层数以及每层的神经元数是由设计者来决定的； 3)已证明，两层S型线性网络，如果S型层有足够的神经元，则能够训练出任意输入和输出之间的有理函数关系； 4)反向传播法沿着误差表面的梯度下降，使网络误差最小，网络有可能陷入局部极小值； 5)附加动量法使反向传播减少了网络在误差表面陷入低谷的可能性并有助于减少训练时间； 6)太大的学习速率导致学习的不稳定，太小值又导致极长的训练时间。自适应学习速率通过在保证稳定训练的前提下，达到了合理的高速率，可以减少训练时间； 7)80％—90％的实际应用都是采用反向传播网络的。改进技术可以用来使反向传播法更加容易实现并需要更少的训练时间。 4．8作业 用BP神经网络对一个简单的非线性神经元进行训练。 输入矢量 p=[-3 2] 目标矢量 t=[0.4 0.8] 第06讲 反向传播网络 反向传播网络(Back—Propagation Network，简称BP网络)是将W—H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。 BP网络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量，它可以实现从输入到输出的任意的非线性映射。 由于其权值的调整采用反向传播（Backpropagation）的学习算法，因此被称为BP网络。 BP网络主要用于： 1)函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近—个函数； 2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 3)分类：把输入矢量以所定义的合适方式进行分类； 4)数据压缩：减少输出矢量维数以便于传输或存储。 6．1 BP网络模型与结构 一个具有r个输入和一个隐含层的神经网络模型结构 感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的。 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}或符号函数{—1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数。 图6. 2 BP网络S型激活函数 因为S型函数具有非线性放大系数功能，它可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出，对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大，所以采用S型激活函数可以去处理和逼近非线性的输入/输出关系。 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数，在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数。 BP网络的特点： 1、输入和输出是并行的模拟量； 2、网络的输入输出关系是各层连接的权因子决定，没有固定的算法； 3、权因子是通过学习信号调节的，这样学习越多，网络越聪明； 4、隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出