人工智能鱼——典型模型与算法.ppt

7.1. 基本BP算法——训练过程概述（2） 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 网络关于第p个样本的误差测度： 网络关于整个样本集的误差测度： 7.1 基本BP算法——隐藏层权的调整 ? ANp ANq ANh vhp δpk-1 δ1k wp1 wpm δqk wpq δmk 第k-2层 第k层 第k-1层 … … 7.1 基本BP算法——隐藏层权的调整（2） δpk-1的值和δ1k，δ2k，…，δmk 有关 不妨认为δpk-1 通过权wp2对δ2k做出贡献， 通过权wp1对δ1k做出贡献， … 通过权wpm对δmk做出贡献。 7.1 基本BP算法——隐藏层权的调整（3） 即： 算法思想 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想 ： 网络根据(X1,Y1)计算出实际输出O1和误差测度E1，对W(1) ，W(2) ，…，W(M)各做一次调整；在此基础上，再根据（X2,Y2）计算出实际输出O2和误差测度E2，对W(1) ，W(2) ，…，W(M)分别做第二次调整；…… ；如此下去。本次循环最后再根据（Xs,Ys）计算出实际输出Os和误差测度Es，对W(1) ，W(2) ，…，W(M)分别做第s次调整。这个过程，相当于是对样本集中各个样本的一次循环处理。重复这个循环，直到∑Epε。 BP算法描述 1 for h=1 to M do 1.1 初始化W(h)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(M)； 4.2.5 h=M-1； 4.2.6 while h≠0 do 4.2.6.1 根据相应式子调整W(h)； 4.2.6.2 h=h-1 4.3 E=E/2.0 BP算法的改进 1、BP网络接受样本的顺序仍然对训练的结果有较大的影响。比较而言，它更“偏爱”较后出现的样本 2、给集中的样本安排一个适当的顺序，是非常困难的。 3、样本顺序对结果的影响的原因分析：“分别”、“依次” 4、用(X1,Y1)，（X2,Y2），…，（Xs,Ys）的“总效果”修改W(1) ，W(2) ，…，W(M)。 算法4-2 消除样本顺序影响的BP算法 描述 1 for h=1 to M do 1.1 初始化W(h)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 4.2 对所有的i，j，h：? w (h)ij=0； 4.3 对S中的每一个样本（Xp,Yp）： 4.3.1 计算出Xp对应的实际输出Op； 4.3.2 计算出Ep； 4.3.3 E=E+Ep； 4.3.4 对所有i，j根据相应式子计算?p w (M)ij； 4.3.5 对所有i，j： ； 4.3.6 h=M-1； 4.3.7 while h≠0 do 4.3.7.1 对所有i,j根据相应式子计算?p w (h)ij； 4.3.7.2 对所有i,j： ； 4.3.7.3 h=h-1 4.4 对所有i，j，h： ; 4.5 E=E/2.0 * * 算法4-2 分析 较好地解决了因样本的顺序引起的精度问题和训练的抖动问题 收敛速度：比较慢 偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动问题 * * 算法4-2 分析——冲量设置 Rumelhart等人1986年 ?wij′ 为上一次的修改量，β为冲量系数，一般可取到0.9 1987年，Sejnowski与Rosenberg给出了基于指数平滑的方法 ?wij′ 也是上一次的修改量，β在0和1之间取值 * * 3.算法的实现 主要数据结构 W[H，m]——输出层的权矩阵； V[n，H]——输入（隐藏）层的权矩阵； ?o[m]——输出层各联接权的修改量组成的向量； ?h[H]——隐藏层各联接权的修改量组成的向量； O1——隐藏层的输出向量； O2——输出层的输出向量； (X，Y)——一个样本。 * * 算法的主要实现步骤 用不同