Hopfield网络例析.ppt

第五章霍普菲尔德（Hopfield）神经网络 网络结构形式 Hopfield网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种（ DHNN,CHNN）。 DHNN：作用函数为δ函数，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算 非线性系统状态演变的形式 在Hopfield网络中，由于反馈的存在，其加权 输入和ui，i=1~n为网络状态，网络的输出为y1~yn， 则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式： （1）渐进稳定 （2）极限环 （3）混沌现象 （4）状态轨迹发散 网络结构及I/O关系 对于以符号函数为激励函数的网络，网络的方程可 写为： 图2.8.2 两种工作方式 （1）串行工作方式 在某一时刻只有一个神经元改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。 （2）并行工作方式 在某一时刻有N个神经元改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。 DHNN的状态变换 DHNN的状态变换 DHNN的状态变换 DHNN的状态变换 DHNN的状态变换 DHNN的能量函数 DHNN的能量函数 DHNN的能量函数 DHNN的能量函数 DHNN的能量函数 DHNN的能量函数 DHNN的能量函数 DHNN能量极小点的设计 DHNN能量极小点的设计 DHNN能量极小点的设计 DHNN能量极小点的设计 DHNN能量极小点的设计 DHNN能量极小点的设计 DHNN的学习和联想记忆 DHNN的学习和联想记忆 权值的设计方法 权值设计的方法有外积法、伪逆法、正交设计法等。 外积法（Hebb学习规则）：是一种比较简单，在一定条件下行之有效的方法。 例 设计DHNN，并考察其联想性能。 说明所设计的网络没有准确的记忆所有期望的模式。 因此，Hopfield网络用于联想记忆受其记忆容量和样本差异制约。当记忆的模式较少且模式之间的差异较大，则联想结果正确；而当需记忆的模式较多就容易引起混淆，网络到达的稳定状态往往不是已记忆的模式。此外当需记忆的模式之间较为相近时网络就不能辨别出正确的模式，甚至连自身都会联想错，即使用已记忆的模式作为联想模式(自联想)，也可能出错。 记忆容量分析 当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上： 1、权值移动 2、交叉干扰 权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序: 当网络准确的记忆X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2 X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分地遗忘了以前已记忆的模式。 从动力学的角度来看，k值较小时，网络Hebb学习规则可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使以记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。 交叉干扰 网络在学习多个样本后，在回忆阶段，即验证该记忆样本时所产生的干扰，称为交叉干扰。 对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.13~0.15)n。 权值修正的其它方法 1、?学习规则 2、伪逆法 3、正交化权值设计 ?学习规则 ?学习规则基本公式是： 即通过计算该神经元节点的实际激励值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。 伪逆法 正交化权值设计 连续Hopfield网络 CHNN是在DHNN的基础上提出的，它的原理 和DHNN相似。由于CHNN是以模拟量作为网络的 输入输出量，各神经元采用并行方式工作，所以 它在信息处理的并行性、联想性、实时性、分布 存储、协同性等方面比DHNN更接近于生物神经 网络。 1、网络模型 2、CHNN方程的解及稳定性分析 3、关于Hopfield