神经网络-(6)BP网络.ppt

* 2.4 误差反向传播图形解释 * 2.5 网络训练 训练BP网络，需要计算网络加权输入矢量以及网络输出和误差矢量，然后求误差平方和 当所训练矢量的误差平方和小于误差目标，训练停止；否则在输出层计算误差变化，且采用反向传播学习规则来调整权值，然后重复此过程 网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果 * 2.5 网络训练 为了能够较好地掌握BP网络的训练过程，我们用两层网络为例来叙述BP网络的训练步骤 初始化：用小的随机数初始化每一层的权值W和偏差B，保证网络不被大的加权输入饱和 期望误差最小值error_goal 最大循环次数max_epoch 修正权值的学习速率1r，一般情况下k＝0.0l,0.7 * 2.5 网络训练 变量表达：计算网络各层输出矢量A1和A2以及网络误差E A1＝tansig(W1*P，B1)； A2＝purelin(W2*A1，B2)； E＝T-A； 权值修正：计算各层反传的误差变化D2和D1并计算各层权值的修正值以及新权值： D2＝deltalin(A2，E)； D1＝deltatan(A1，D2，W2)； [dlWl，dBl]＝learnbp(P，D1，lr)； [dW2，dB2]＝1earnbp(A1，D2，1r)； W1＝W1十dW1；B1＝B1十dBl； W2＝W2十dW2；B2＝B2十dB2 * 2.5 网络训练 计算权值修正后误差平方和 SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2)) 检查：SSE是否小于err_goal。若是，训练结束；否则继续 以上所有的学习规则与训练的全过程，可以用函数trainbp.m来完成 它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差 TP＝[disp_freq max_epoch err_goal 1r] [W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP) * 三、网络设计 3.1 网络的层数 3.2 隐含层神经元数 3.3 初始权值的选取 3.4 学习速率 3.5 期望误差的选取 3.6 应用举例 3.7 局限性 * 3.1 网络的层数 理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数 定理： 增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下应优先考虑增加隐含层中神经元数 仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好 线性问题 非线性问题 * 3.2 隐含层神经元数 网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层简单得多 定理： 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量 * 3.3 初始权值的选取 一般取初始权值在(-1，1)之间的随机数 威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略 选择权值的量级为 在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。 其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数 * 3.4 学习速率 学习速率决定每一次循环训练中所产生的权值变化量 大的学习速率可能导致系统的不稳定 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间