前向多层神经网络.pptVIP

第2章前向多层神经网络、BP算法及计算机实现基于前面介绍的神经元结构，人们又提出了很多种神经网络结构模型，如Hopfield网络、Boltzmann机、ART网络和BAM网络等。在各领域中用法最多也最有成效的是前向多层神经网络，由于该网络在学习（训练）过程中采用了BP（ErrorBack-propagation）算法，故又称为BP网络。标准的BP网络由三层神经元组成，其结构如图2－1所示。最下面为输入层，中间为隐含层，最上面为输出层，网络中相邻层采取全互连方式连接，同层各神经元之间没有任何连接，输出层与输入层之间也没有直接的联系。为方便讨论，在此设输入层、隐含层及输出层神经元的个数分别为L，M，N。可以证明：在隐含层节点可以根据需要自由设置的情况下，用三层前向神经网络可以实现以任意精度逼近任意连续函数。输出模式01输入模式02输出层03隐含层04输入层05输出层神经元（L=2）06隐含层神经元（L=1）07输入层神经元（L=0）08图2-1前向多层神经网络(BP网络)模型09BP神经网络中的动力学过程有两点：一类是学习过程，在这类过程中，神经元之间的连接权将得到调整，使之与环境信息相符合，连接权的调整方法称为学习算法。另一类过程是指神经网络的计算过程，在该过程中将实现神经网络的活跃状态的模式变换，与学习过程相比，计算过程的速度要快得多，因而，计算过程又称为快过程，学习过程称为慢过程。如图2－2示，设从第L层神经元j到第L-1层神经元i的连接权值为Wji，P为当前学习样本，Opi为在P样本下第L层第i个神经元的输出，变换函数f(x)取为Sigmoid函数,即图2-2BP神经网络的通用结构………………对于第P个样本,网络的输出误差EP用下式表示01式中tpj为输入第P个样本时第j个神经元的理想输出,Opj是它的实际输出,假设第L层有J个神经元,第L-1有I个神经元。03（2－1）02010203为了使网络的实际输出与理想输出相接近（使EP下降），根据梯度算法，可以对L层按下式进行调整：01L=1,2（2－2）02对于非输入层的神经元具有下面的操作特性:任一神经元的净输入(2－3)任一神经元的输出(2－4)在式(2－3)中,如果将代入，则(2－3)式可改写为(2－5)又(2－6)(2－7)01定义:为输出误差系数02综合式(2－2)﹑(2－3)﹑(2－5)﹑(2－7)得出(2－8)i=0,1,2…,I,j=0,1,2…,J-1,L=1,2由上式可见，为求出调整值，必须先求出。（2－9）由式(2－4)得到:现在分两种情况来讨论:如果所讨论的神经元为输出层神经元,则由式(2－1)可得:(从输出层开始)代入(2－9)式得到(2.10)L=2,j=0,1,2,…,N-1如果所讨论的神经元为隐层神经元,则有:(向输出层反向传播，参见（2－5)式）===L=1,j=0,1,2,…,M-1(2－11)将此结果代入式(2－9)得到010203040506从上式可以看出,为求出隐含层的输出误差系数,必须用到输出层的,所以这个过程被称为误差反向传播过程(EBP,errorback-propagation)。现在来讨论项中的,由于f[·]采用Sigmoid函数。由此可以得到（2－12）将式（2－12）代入式（2－10）和式（2－11）得到（2－13）L=2,j=0,1,2,…,N-1(对输出层)(2－14)L=1,i=0,1,2,…,M-1(对隐层)当L=2(输出层)时将式(2－13)和式(2－14)代入式(2－8)得到I=0,1,2…,N-1;j=0,1,2…,M当L=1(隐含层)时(2－15),I=0,1,2…,M-1,j=0,1,2…,L至此，推导完了BP学习算法，式（2－15）与式(2－16)为推导的最后结果。(2－16)神经网络输入层,输出层的神经元个数可以根据研究对象的输入,输出信息来确定,如何合适选取隐含层神经元的数目无规律可循,然而隐含神经元