反向传播网络.pdf

。

反向传播网络原理及其应用

1．引言

反向传播网络（Back-PropagationNetwork,简称BP网络）是将W-H学习规则一般化，

对非线性可微分函数进行权值训练的多层网络。它是一种多层前向神经网络，包括输入层、

隐层、输出层，其中隐层可以是一层，也可以是多层其神经元的变换函数是S型函数，因

此输出量为0到1之间的连续量，它可以实现从输入到输出的任意非线性映射。。BPNN前

后层之前实现全连接，每层神经元直接无连接。

2.用途及限制

BP网络主要用于：

1：函数逼近：用输入矢量和输出矢量训练一个网络逼近一个函数。

2：模式识别：用一个特定的输出矢量将它与输入矢量联系起来。

3：分类：把输入矢量以所定义的合适方式进行分类。

4：数据压缩：减少输出矢量维数以便于传输或存储。

BP网络的产生要归功于BP算法的获得。BP算法要属于δ算法。它是一种监督式的学习算

q

法。它的主要思想是：对于q个输出学习样本：P1，P2，…，P，已知与其对应的输出样本

qqq

是：T1，…，T。学习的目的是用网络的实际输出A1，…A与其目标矢量T1,…,T之间的

ee

误差来修改其权值，使使A,(e=l,2,…,q)与期望的T尽可能地接近;；即：使网络输出层

的误差平方和达到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络

权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正

比，并以反向传播的方式，通过网络将输出层的误差信号，沿原来的连接通路反传到每一层

来修改前面各层神经元的权值直至达到期望目标。

虽然反向传播法得到广泛的应用,但这也存在自身的限制与不足,主要表现在以下几点:

()l需要较长的训练时间

对于一些复杂的问题,BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学

习速率太小所造成的。

(2)完全不能训练

这主要表现在网络出现的麻痹现象上。在网络的训练过程中,当其权值调得过大,可能使得

所有的或大部分神经元的加权输入和过大,这使得激活函数的输入工作在S型转移函数的饱

和区,从而导致其导数非常小而使得对网络权值的调节过程几乎停顿下来。

(3)局部极小值

BP算法可以使网络权值收敛到一个解,但它并不能保证所求为误差超平面的全局最小解,

很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法,训练是从某一起始点沿误

。

1

。

差函数的斜面逐渐达到误差的最小值。对于复杂的网络,其误差函数为多维空间的曲面,就像

一个碗,其碗底是最小值点。但是这个碗的表面是凹凸不平的,因而在对其训练过程中,可能

陷入某一小谷区,而这一个谷区产生的是一个局部极小值。由此点向各方向变化均使误差增

加,以致于使训练无法逃出这一局部极小。

如果对训练结果不满意的话,采用多层网络和较多的神经元可能得到更好的结果。然而增

加神经元和层数,也增加了网络的复杂性及训练时间。在一定情况下可能是不明智的。可代

替的办法是选用几组不同的初始条件对网络进行训练,从中挑选最好结果。为了避免发生麻

痹现象,一是选取较小的初始权值,二是采用较小的学习速率,但这又增加了训练时问。采用

较大的学习速率,则可能引起网络训练的不稳定等问题。由于在人工神经网络中,反向传播法

占据了非常重要的地位,所以近十几年来,许多研究人员对其做了深入的研究,提出了很多改

进的方法。主要目标是为了加快训练速度,避免陷入局部极小值和改善其它能力。

3.原理及方法

反向传播网络其实是误差的反传与误差的反向传播算法的学习过程，由两个过程组成：信

息正向的传播和误差