前馈神经网络介绍01..doc

多层感知器 多层感知器有三个突出的特点： 网络中的每个神经元包括一个非线性激活 函数, 非线性是光滑的（每一点都可微分）, 如为logistic函数： 网络包括一个或多个神经元的隐层； 网络显示了一种高程度的互联； 基于此网络行为的缺陷。 1.由于非线性分布式的存在和网络的高度互 相连接使得多层感知器的理论分析难于进行。 2.隐层的使用使得学习过程变得更不可捉摸。 反向传播算法的发展是神经网络发展史上的 一个里程碑. 4. 2预备知识 网络中有两种信号: 函数信号。 误差信号。 多层感知器每一个隐层或输出层的神经元被 设计用来进行两种计算： 1.函数信号的计算 2.梯度向量估计计算 需要使用的符号： 1．符号i、j、k是指网络中不同的神经元； 2．在迭代(时间步)n，网络的第n个训练模式 （例子）呈现给网络； 3．符号E(n)指第n次迭代的瞬间误差平方和 或误差能量的瞬间和。 4．号ej(n)指的是第n次迭代神经元j的输出 误差信号； 5．符号dj(n)指的是关于j的期望响应； 6．符号yj(n)指的是第n次迭代神经元j的 输出函数信号； 7．wji(n)指突触权值，该权值是第n次迭代时 从神经元i输出连接到神经元j输入。 该权值在n时的校正量为Δwji(n)； 8.n次迭代的神经元j的诱导局部域用vj(n) 表示； 9.激活函数表示为； 10．阈值由一个突触的权值wj0=bj表示， 这个突触与一个等于+1的固定输入相连； 11．输入向量的第i个元素用xi(n)表示； 12．输出向量的第k个元素用ok(n)表示； 13．学习率参数记为η； 14．符号表示多层感知器的第层的大小 （也就是节点的数目），=0,1,…,L,而L就是 网络的“深度”。因此m0是输入层的大小， ml是第l隐层的大小，mL是输出层的大小。 也使用mL=M。 4. 3反向传播算法 1. 函数信号的计算 输入信号x, 第一个隐层的神经元的诱导局部域 v1 =W1x, 第一个隐层的神经元的输出 y1=?(v1) 同理 第l个隐层的神经元的诱导局部域 vl =Wlyl-1, 第l个隐层地神经元的输出 yl=?(vl) 输出层的神经元的诱导局部域 vL =WLyl, 输出层的神经元的实际输出 o =?(vL) 网络的期望输出为d. 2． 误差的计算 神经元j的瞬时误差 ej(n)=dj(n)-yj(n) (4.1) 我们将神经元j的误差能量瞬时值定义为 （1/2）ej2(n) 。 整个误差能量的瞬时值E(n)即为输出层的 所有神经元的误差能量瞬间值的和； E(n) 的计算公式是 而对所有n求E(n)的和然后关于集的大小归 一化即得误差能量的均方值，表示如下 误差能量的瞬时值E(n)和误差能量的平均值 Eav，是网络所有自由参数的函数（突触权值 和偏置水平）。学习过程的目的是调整网络的 自由参数来使Eav最小。 使用负梯度下降法 3．下面讨论怎样计算这个梯度。 (4.4) (4.5) 根据微积分的链式法则，我们可以将这个 梯度表示为 (4.6) 在等式(4.2)两边对ej(n)取微分，我们得到 在公式(4.1)两边对yj(n)取微分，我们得到 接着，在公式(4.5)两边对vj(n)取微分，得到 最后，在公式(4.4)两边对wji(n)取微分，得到 将(4.7)到(4.10)代入(4.6)，得到 wji(n)的校正值Δwji(n)是由delta法则定义的 于是将(4.11)代入(4.12)中，得到 Δwji(n)= ηδj(n) yi(n) (4.13) 这里局域梯度根据(4.14)，神经元j的 局域梯度δj(n)等于相应误差信号ej(n)和 相应激活函数的导数值。 情况1：神经元j是输出节点 情况2：神经元j是隐层节点 神经元j就是一个网络隐层节点， 根据式(4.14)我们可给隐层神经元的局域梯度 再下一个定义 神经元k是输出节点. 在式(4.16)两边对yj(n)求偏导，得到 接着我们还是用微积分中的链式法则， 所以式(4.17)变为 然而，我们发现 因此， 对神经元k，诱导局部域是 这里m是神经元k所有输入的个数（包括偏置），而且在这里突触权值wk0(n)等于k的偏置bk(n)，相应的输入是固定在值+1处的。 关于yj(n)微分方程(4.21)得到 用(