ch7典型神经网络ok.ppt

RBF网络有关问题 RBF与BP主要不同点在非线性映射上采用了不同的作用函数 RBF网络具有唯一最佳逼近，无局部极小 RBF网络难点在于中心向量和标准化常数的求解 如何选择合适径向基函数，如何确定隐节点数无解决办法 由于隐节点的中心难求，影响其发展推广 RBF学习速度快，适于在线实时控制 5 期望误差的选取 在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值。 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。 7.2.10 BP网络的局限与不足 (1)需要较长的训练时间 因为涉及到求导的运算，需要的时间较长 (2)训练瘫痪问题 通常为了避免这种现象的发生，一是选取较小的初始权值，二是采用较小的学习速率，但这又增加了训练时间。 (3)局部极小值 BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。 W E W初始值不合适时，可能落入局部极小值。 7.2.11 反向传播法的改进方法 目标：为了加快训练速度，避免陷入局部极小值。 1 附加动量法 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上的微小变化特性。 利用附加动量的作用则有可能滑过局部极小值。 该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了。 2 误差函数的改进 包穆(Baum)等人于1988年提出一种误差函数为： 不会产生不能完全训练的瘫痪现象。 3 自适应学习速率 学习率η也称步长，在标准BP 算法中定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率，从误差曲面可以看出，平坦区域内η太小会使训练次数增加而希望增大η值；而在误差变化剧烈的区域，η太大会因调整量过大而跨过较宰的“坑凹”处，使训练出现振荡，反而使迭代次数增加。 为了加速收敛过程，一个较好的思路是自适应改变学习率，使其该大时增大，该小时减小。 通常调节学习速率的准则是：检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应该减小学习速率的值。下式给出了一种自适应学习速率的调整公式： MATLAB工具箱中带有自适应学习速率进行反向传播训练的函数为：trainbpa.m。它可以训练直至三层网络。 使用方法为： [W，B，epochs，TE]＝trainbpa(W，B，’F’，P，T，TP) 可以将动量法和自适应学习速率结合起来以利用两方面的优点。这个技术已编入了函数trainbpx.m之中。这个函数的调用和其他函数一样，只是需要更多的初始参数而已： TP＝[disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； [W，B，epochs，[error; lr]]＝trainbpx(W，B，F，P，T，TP) 本章小结 1)反向传播法可以用来训练具有可微激活函数的多层前向网络以进行函数逼近，模式分类等工作； 2)反向传播网络的结构不完全受所要解决的问题所限制。网络的输入神经元数目及输出层神经元的数目是由问题的要求所决定的，而输入和输出层之间的隐含层数以及每层的神经元数是由设计者来决定的； 3)已证明，两层S型线性网络，如果S型层有足够的神经元，则能够训练出任意输入和输出之间的有理函数关系； 4)反向传播法沿着误差表面的梯度下降，使网络误差最小，网络有可能陷入局部极小值； 5)附加动量法使反向传播减少了网络在误差表面陷入低谷的可能性并有助于减少训练时间； 6)太大的学习速率导致学习的不稳定，太小值又导致极长的训练时间。自适应学习速率通过在保证稳定训练的前提下，达到了合理的高速率，可以减少训练时间； 7)80％—90％的实际应用都是采用反向传播网络的。改进技术可以用来使反向传播法更加容易实现并需要更少的训练时间。 BP网络主要用于