神经网络BP算法实现及其改进.doc

BP算法的实现 田华 （烟台南山学院软件工程学院 山东 龙口 265706） 摘要：BP算法采用广义的学习规则，是一种有导师的学习算法。它分两个阶段：正向传播阶段和反向传播阶段。误差反向传播算法简称ＢＰ算法 ,现在成为人工神经网络中最引人注意应用最广泛的算法之一。该算法是一种有教师示教的训练算法。 关键词：BP算法； 权值 ； 学习步长 ； 学习样本 Performing BP Caculation Tian Hua (The Information engineering school of Yantai Nanshan College longkou Shandong 265708) Abstract:Bp Caculation adopts broadsense δtearning rinciphes,which is guided by instructors.It falls into two stasces.direct Propagation and back propagation,Error back propagation is short—tormed BP Caculation,Which has become one of the most actractrue and Popular Caculations.It is a training Caculation demonstrated by teachers. Keywords: Bp Caculation ；studying sample ；limit value time-length ； trequeucy for studying 一、BP算法思想及实现 BP算法采用广义的学习规则，是一种有导师的学习算法。它分两个阶段：正向传播阶段和反向传播阶段。正向传播阶段，将学习样本的输入信息输入前馈网络的输入层，输入层单元接受到输入信号，计算权重合，然后根据神经元的激活函数将信息传到隐含层（1层或2层），同样根据隐含层的输出计算输出层的输出。反向传播阶段，将网络的实际输出与期望输出相比较，如果误差不满足要求，将误差向后传播，即从输出层到输入层逐层求其误差（实际上是等效误差），然后相应地修改权值。 误差反向传播算法简称ＢＰ算法 ,现在成为人工神经网络中最引人注意应用最广泛的算法之一。该算法是一种有教师示教的训练算法 ,它通过对Ｐ个输入输出对 (即样本 ) (Ｘ1,Ｙ1) , (Ｘ2,Ｙ2) ,… , (ＸＰ,ＹＰ)的学习训练 ,得到神经元之间的连接权Ｗｉｊ、Ｗｊｋ和阈值θ 收稿日期:2004-11-10 作者简介：田华（1980-）女，山东德州人，烟台南山学院软件工程学院教师 ｊ、ｋ,使ｎ维空间对ｍ维空间的映射获得成功训练后得到的连接权和阈值 ,对其它不属于Ｐ1=1, 2,… ,Ｐ的Ｘ子集进行测试 ,其结果仍能满足正确的映射 。 1.BP网络的学习结构。 　在神经网络中 ,对外部环境提供的模式样本进行学习训练 ,并能存储这种模式 ,则称为感知器 ;对外部环境有适用能力 ,能自动提取外部环境变化特征 ,则称为认知器。一个有教师的学习系统分成三个部分 :输入部、训练部和输出部。如图 1所示：输入部接收外来样本X,由训练部进行网络的权系数 W调整 ,然后输出部输出结果。 　多层神经网络 1-4-6-4-1的学习机构用图 2表示 :X是输入样本信号 ,可取任意值。输入样本信号通过每一层的权系数作用 ,最终在输出部产生结果 : y = e-x2 　 图2 1-4-6-4-1的学习机构 再把期望输出信号 y与 u进行比较 ,从而产生误差 e。权值调整机构根据误差 e对学习系统的各层权系数进行修改 ,修改方向使用负梯度方向 ,即达到最速下降法 ,不断进行下去 ,使误差 e满足给定精度要求 0.003,这时实际输出值 u和期望输出值 y的误差符合要求 ,则学习过程结束。 2.BP网络的数学模型。 从第一节神经元的讨论可知 ,神经元是一个多输入单输出的信息处理单元。它对信息处理是非线性的。可把神经元抽象为一个简单的数学模型 ,如图 3所示。 　 图 3中 , X1, X2,… , Xn是神经元的输入 ,即来自前级 n个神经元的轴突信息 ;θi 是 i神经元的阀值 , Wi1, Wi2,… , Win分别是 i神经元对 X1, X2,… , Xn的权系数 ,也即突触的传递效率 ; Yi是 i神经元受到输出 ; f[· ]是激发函数 ,它决定 i神经元受到输入 X1, X2,… , Xn的共同刺激达到阀值时以何种方式输出。 数学模型表达式为 : 取激发函数为S型: 是对应