第三章：反馈神经网络（一）.pptVIP

第三讲 反馈神经网络 本章知识结构 概述 离散Hopfield网络 连续Hopfield网络 连续Hopfield网络的应用——优化计算 2.2.3 HNN的联想记忆 如果把系统的稳定点视做一个记忆的话，那么从初始状态朝这个稳定点移动的过程就是寻找该记忆的过程。 例1：计算如图3.5所示3节点DHNN的状态转移关系。考虑到DHNN的权值特性wij＝wji，可简化为图3.6右边的等价图。 2.2.4 记忆容量问题 2.2.4 记忆容量问题 3.2.2 DHNN的动力学稳定性 类似于研究动力学系统稳定性的Lyapunov稳定性理论,上述DHNN的稳定性可由分析上述定义的Lyapunov函数E的变化规律而揭示. 因此,由神经元j的状态变化量?yj(t)所引起的的能量变化量?Ej为: 若所讨论的HNN是对称网络,即有wi,j=wj,i,i,j=1,2,...,n,则有 则 yj(t+1)=f[uj(t)-?j] 式(3)则可记为: ?Ej(t)=[-uj(t)+?j]?yj(t) (3A) 下面分别对 串行异步方式和 并行同步方式, 证明对称二值型HNN是稳定的. 3.2.2 DHNN的动力学稳定性 如果,令 A.串行异步方式 对串行异步和对称权值型的HNN,基于式(3A) ?Ej(t)=[-uj(t)+?j]?yj(t) (3A) 考虑如下两种情况: 如果uj??j,即神经元j的输入综合大于阈值,则从二值神经元的计算公式知道: yj的值保持为1,或者从0变到1. 这说明yj的变化?yj只能是0或正值.这时很明显有?Ej: ?Ej?0 这说明HNN神经元的能量减少或不变. 3.2.2 DHNN的动力学稳定性 如果uj??j,即神经元j的输入综合小于阈值,则知yj的值保持为0,或者从1变到0,而?yj小于等于零.这时则有?Ej: ?Ej?0 这也说明HNN神经元的能量减少. 上面两点说明了DHNN在权系数矩阵W的对角线元素为0,而且W矩阵元素对称时,串行异步方式的DHNN是稳定的. 3.2.2 DHNN的动力学稳定性 B. 并行同步方式 由上述对串行异步和对称权值型的DHNN的稳定性分析过程知,单个神经元的状态变化引起的Lyapunov函数的变化量 ?Ej(t)?0 因此, 并行同步且权值对称的DHNN的所有神经元引起的 Lyapunov函数的变化量为: 3.2.2 DHNN的动力学稳定性 故上面两点说明了DHNN在权系数矩阵W的对角线元素为0, 而且W矩阵元素对称时,并行同步方式的DHNN是稳定的. 基于上述分析,Coben和Grossberg在1983年给出了关于HNN稳定的充分条件,他们指出: 如果权系数矩阵W是一个对称矩阵,并且,对角线元素为0.则这个网络是稳定的. 即是说在权系数矩阵W中,若 i=j时, Wij=0 i?j时,Wij=Wji 则HNN是稳定的. 应该指出: 这只是HNN稳定的充分条件,而不是必要条件. 在实际中有很多稳定的HNN,但是它们并不满足权系数矩阵w是对称矩阵这一条件. 3.2.2 DHNN的动力学稳定性 3.2.2 DHNN的动力学稳定性 由上面的分析可知: 无自反馈的权系数对称HNN是稳定. 它如图3.4所示. 2.2.3 HNN的联想记忆 所谓联想可以理解为从一种事物联系到与其相关的事物的过程. 日常生活中,从一种事物出发,人们会非常自然地联想到与该事物密切相关或有因果关系的种种事务. 两种联想形式 自联想(Auto-association) : 由某种代表事物(或该事物的主要特征,或部分主要特征)联想到其所标示的实际事物。 从英文字头“Newt”联想到“Newton”。 听到歌曲的一部分可以联想起整个曲子。 2.2.3 HNN的联想记忆 异联想(他联想)(Hetero -association) : 由一种事物(或该事物的主要特征,或部分主要特征)联想到与其密切相关的另一事物。 从质能关系式E=mc2联想到其发明者爱因斯坦。 看到某人的名字会联想起他的相貌和特点。 人脑从一种事物得到对应事物的两种途径 按时间顺序对相关事物进行思考 可通过时间表来回忆某一阶段所做的工作. 通过事物本质特征的对比来确定事物的属性 由提示信息或局部信息对事物进行回忆或确认. 2.2.3 HNN的联想记忆 HNN的一个功能是可用于联想记忆,也即是联想存储器.这是人类的智能特点之一. 人类的所谓“触景生情”就是见到一些类同过去接触的景物,容易产生对过去情景的回昧和思忆. 对于HNN,用它作联想记忆时,首先通过一个学习训练过程确定网络中的权系数,使所记忆的信息在网络的n维超立方