第八章Hopfield神经网络.ppt

第八章 Hopfield神经网络; Hopfield网络结构和模型 Hopfield网络输出的计算过程(离散) Hopfield网络的稳定性 Hopfield网络的学习算法 Hopfield网络的几个问题 Hopfield网络的MATLAB实现示例;概述;8-1 Hopfield网络结构和模型;8-1-1 离散型Hopfield网络 离散Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 　 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。; 网络为一层结构的反馈网络，能处理双极型离散数据 (即输入 –1,+1)，及二进制数据(0,1)。 给定初始输入时，网络处于特定的初始状态。网络从初始状态开始运行，可得到网络下一状态的输出。这个输出状态通过反馈连接送到网络的输入端，作为下一阶段运行的输入信号，它可能与初始输入信号不同。如此下去，网络的整个运行过程就是上述反馈过程的重复。如果网络稳定，那么随着多次反馈运行，网络状态最后将达到稳态。用公式表达为：;8-1-1 离散型Hopfield网络;激励函数;8-1-2 连续型Hopfield网络 连续Hopfield网结构见图(a)，是单层反馈非线性网，每一节点的输出反馈至输入。 　 Hopfield用模拟电路(电阻、电容和运算放大器)实现网络的神经元(节点)，见图(b)。;图9-2 连续型Hopfeld网络 ;Hopfield网络模型;8-2 Hopfield网络的计算过程(离散); 下面给出几个基本概念的定义，这些基本概念与网络运行过程中状态的变迁有关。 网络的稳定性。若网络从初始状态v(0)开始，经过有限时间t后，网络的状态不再发生变化，即 则称网络是稳定的。 ;例8-1 计算下列离散Hopfield网络的运行过程，设初始状态 X(0)=(1 0 1)T，找出其吸引子和对应的吸引域。 设： 0 1 -2 W= 1 0 -1 -2 -1 0; 设网络状态为 Hopfield网络的能量函 数可定义为: ;定理8-1： 设Hopfield网络具有图9-1的结构形式，且其状态按异步方式更新，且网络权值对称，无自反馈，那么，网络状态在有限步内收敛到稳定点。 ;;定理8-2：设Hopfield网络具有图9-2的结构形式（非线性作用函数是二值的），则在该网络权矩阵对称且负定的条件下，对于网络状态的每次同步变化，网络能量E单调下降。;;;定理8-3: 对于预先给定 中的 K 个模式 若 存在实对称矩阵 满足 ; 若不考虑网络的容错性能, 仅仅考虑网络的容量意义不大. 用上述编码方法所给出的编码有时容错性能较差.为了使所得的权值矩阵对记忆样本的吸引域尽可能地大,利用前面的算法,求出一些满足条件的权值矩阵 ; 我们涉及到Hopfield 网络的两种运行形式，相应的有两种不同的应用方向： 联想记忆 因网络能收敛于稳态，故可用于联想记忆。若将稳态视为一个记忆，则由初态向稳态收敛的过程就是寻找记忆的过程，初态认为是给定的部分信息，收敛过程可认为是从部分信息找到了全部信息，实现了联想记忆的功能。联想记忆模型的一个重要特性：由噪声输入模式，反映出训练模式。 优化计算 若将稳态视为某一优化计算问题目标函数的极小点，则由初态向稳态收敛的过程就是优化计算过程。先把问题表述成能量函数，进一步由能量函数推出网络权结构，然后在某种条件下让网络运行，网络的稳定状态一般来说就对应与问题的解答。; 联想记忆与优化计算的关系;8-6 Hopfield网络的MATLAB实现示例; MATLAB中与Hopfield网络有关的重要函??和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 ;MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线