人工神经元模型解读.ppt

回归（Recurrent）神经网络 与Hopfield神经网络非常相似。 保留了部分前向传播网络的特性又具备部分Hopfield网络的动态联想记忆能力。 Pineda在1987年首先将传统的BP学习算法引入到回归神经网络中来，并提出回归反向传播算法。 三、动态神经网络模型 离散型回归神经网络(DTRNN)的模型： 其中： N是神经网络的输出节点数， M是输入矢量X的维数 三、动态神经网络模型 DTRNN网络结构 三、动态神经网络模型 此类神经网络学习问题有两种DTRNN学习算法： 网络模型作适当的处理后利用传统的BP学习算法进行学习； 迭代法。 方法1：首先将回归神经网络按时间序列展开成一个多层的复杂前向传播网络来处理 可构造出由n个回归网络结构复制串联而成的n层前向传播网络 三、动态神经网络模型 方法2：通过迭代算法实现递归计算: 仍然采用梯度下降法 三、动态神经网络模型 BP学习算法 给定p组样本(x1,t1;x2,t2;...;xP,tP）。 这里xi为ni维输入矢量,ti为no维期望的输出矢量，i=1,2,...,P。假设矢量y和o分别表示网络的输出层输出和隐含层输出矢量 10： 选η0,Emax作为最大容许误差，并将权系数Wl ，θl l=1，2，...，L初始化成小的随机值。 p←1, E←0 20 ： 训练开始， o(0)p←xp, t←tp 二、前向神经网络模型 BP学习算法 30 ： 计算误差 E←（tk-yk)2/2+E, k=1,2,...,no 40 ： 计算广义误差 50 ：调整权阵系数 60 ：若pP, p←p+1转20，否则转70。 70 ：若EEmax，结束，否则 E←0，p←1转20 二、前向神经网络模型 BP学习算法的注意事项： 权系数的初值： 一般情况下，权系数通常初始化成一个比较小的随机数，并尽量可能覆盖整个权阵的空间域。避免出现初始权阵系数相同的情况 学习方式：增量型学习和累积型学习 激励函数：由于常规Sigmoid函数在输入趋于1时其导数接近0，从而会大大影响其训练速度，容易产生饱和现象。因此，可以通过调节Sigmoid函数的斜率或采用其它激励单元来改善网络性能 学习速率： 一般说来，学习速率越大，收敛越快，但容易产生振荡；而学习速率越小，收敛越慢 二、前向神经网络模型 举例：4-1：假设对于期望的输入[x1,x2]T=[1,3]T, [t1,t2]T=[0.95,0.05]T。 网络权系数的初始值见图。 试用BP算法训练此网络（本例中只给出一步迭代学习过程）。 这里，取神经元激励函数： 学习步长为η=1。 二、前向神经网络模型 二、前向神经网络模型 计算当前各层的输出 二、前向神经网络模型 计算广义误差 二、前向神经网络模型 连接权系数更新 二、前向神经网络模型 BP算法的MATLAB编程参见教材p90 BP改进算法 快速BP算法 Fahlman在1988年首先提出。 共轭梯度学习算法 经典优化方法 二、前向神经网络模型 * 引言 1 2 3 前向神经网络模型 5 动态神经网络模型 前向传播网络，从学习观点看，它是一种强有力的学习系统；从系统观点看，它是一种静态非线性映射 反馈型神经网络具备非线性动力学系统所特有的丰富动力学特性，如稳定性、极限环、奇异吸引子（即浑沌现象）等。一个耗散动力学系统的最终行为是由它的吸引子决定的，吸引子可以是稳定的，也可以是不稳定的。--动态神经网络 三、动态神经网络模型 简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要的特征： （1）. 系统有若干个稳定状态。如果从某一初始状态开始运动，系统总可以进入某一稳定状态； （2）. 系统的稳定状态可以通过改变相连单元的权值而产生。 三、动态神经网络模型 如果将神经网络的稳定状态当作记忆，那么神经网络由任一初始状态向稳态的演化过程，实质上是寻找记忆。稳态的存在是实现联想记忆的基础。能量函数是判定网络稳定性的基本概念。下面我们先给出稳定性定义。 定义3-1: 神经网络从任一初态X（0）开始运动，若存在某一有限的时刻ts，从ts以后神经网络的状态不再发生变化，即： X(ts+Δt)=X(ts), Δt0 则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。 三、动态神经网络模型 动态神经网络模型的实质是其节点方程用微分方程或差分方程来表示而不是简单地用非线性代数方程来表达，主要介绍三种： 带时滞的多层感知器网络 Hopfield网络 回归神经网络 三、动态神经网络模型 带时滞的多层感知器网络: 多层前向传播网络是如何来处理动态序列问题的。利用静态网