BP神经网络介绍.ppt

18 9 18 10 （1）计算中间隐含层各个神经元的净输入和输出 j=1,2,...,p （2）计算输出层各个神经元的净输入和实际输出 t=1,2,...,q （3）根据给定期望，计算输出层各个神经元的校正误差 （4）计算隐含层各个神经元的校正误差 4.4 BP神经网络学习算法 18 11 （5）修正隐含层至输出层的连接权值V和输出层神经元的阈值γ，其中学习速率为α，0α1 j=1,2,...,p，t=1,2,...,q （6）修正输入层至隐含层的连接权值W和隐含层神经元的阈值θ，其中学习速率为β，0β1 4.4 BP神经网络学习算法 18 12 一、BP网络的主要能力 1、非线性映射能力 2、泛化能力 3、容错能力 4.5 BP网络的分析--梯度下降学习方法 二、BP算法的局限性 1、存在局部极小问题 2、存在平坦区，收敛速度慢 3、网络结构选择不一 18 13 1、BP 人工神经网络结构的自我调整 在BP人工神经网络拓扑结构中, 输入节点与输出节点是由问题的本身决定的, 关键在于隐层的层数与隐节点的数目。 只需一个隐层的神经网络, 它只要隐节点足够多, 就可以以任意精度逼近一个非线性函数。相对来说, 隐节点数的选取很困难。隐节点少了, 学习过程不可能收敛；隐节点多了, 网络性能下降, 节点冗余。为了找到合适的隐节点数, 最好的办法是在网络的学习过程中, 根据环境要求, 自组织地学习、调整自己的结构, 最后得到一个大小合适的神经网络模型。 4.6 BP人工神经网络模型的改进 从少到多：初始值： ， 先设置较多隐节点 * * * * * * * * * * * * * * * * * * 第四章 误差反向传播神经网络 研16电子 陈晨 2017.4.11 4.1 误差反向网络的提出 4.2 BP神经网络结构基本思想 4.3 BP神经网络处理的单元模型 4.4 BP神经网络学习算法 4.5 BP网络的分析--梯度下降学习方法 4.6 BP人工神经网络模型的改进 4.1 误差反向网络的提出 1986 年,Romelhart 和McCelland 提出了误差反向传播算法( Error Back Propagation Algorithm ，简称BP 算法) ,由于多层前馈网络的训练经常采用误差反向传播算法，所以人们也常把多层前馈网络称为BP 网络。 BP算法采用非线性连续变换函数，使隐含层神经元具有了学习能力。其基本思想直观、易于理解，数学意义明确、步骤分明，所以BP 网络成为目前应用最广的神经网络。 18 3 4 修改权值阈值 教师信号 4.2 BP神经网络结构基本思想 18 4.2 BP神经网络结构基本思想 BP算法的主要思想是把训练过程分为两个阶段： 第一阶段(正向传播过程)给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值。 第二阶段(反向传播过程)若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出之差值，以便根据差值调节权值。 18 5 4.3 BP神经网络处理的单元模型 18 6 w1j x1 j ? w2j x2 θj xn wnj yj 阈值θj的作用反应在s型生长曲线上是使曲线向右平移θj个单位，在BP网络里它起到了神经元兴奋水平的作用。