AI7章联结学习详解.ppt

* 7.4 Hopfield网络学习 Hopfield网络学习的过程实际上是一个从网络初始状态向其稳定状态过渡的过程。而网络的稳定性又是通过能量函数来描述的。这里主要针对离散Hopfield网络讨论其能量函数和学习算法。 7.4.1 Hopfield网络的能量函数 7.4.1 Hopfield网络学习算法 * 式中，n是网络中的神经元个数，wij是神经元i和神经元j之间的连接权值，且有wij=wji； vi和vj分别是神经元i和神经元j的输出；θi是神经元i的阈值。 可以证明，对Hopfield网络，无论其神经元的状态由“0”变为“1”，还是由“1”变为“0”，始终有其网络能量的变化： ΔE0 7.4.1 Hopfield的能量函数 能量函数定义及性质(1/7) 能量函数用于描述Hopfield网络的稳定性。其定义为： 对网络能量变化的这一结论，我们可以从网络能量的构成形式进行分析。 如果假设某一时刻网络中仅有神经元k的输出发生了变化，而其它神经元的输出没有变化，则可把上述能量函数分作三部分来讨论。其中，第一部分是i=1,…,k-1；第二部分是i=k；第三部分是i=k+1,…,n。 * 即网络能量函数可写成如下形式： 7.4.1 Hopfield的能量函数 能量函数定义及性质(2/7) 在这种形式中，可以引起网络能量变化的仅有公式中的如下部分： i=1,…,k-1 ，j≠k，这部分能量与k的输出无关 i=1,…,k-1 ，j=k，这部分能量与k的输出有关 i=k ，j≠k，这部分能量与k的输出有关 i=k+1,…,n ，j≠k，这部分能量与k的输出无关 i=k+1,…,n ，j≠k，这部分能量与k的输出有关 * 7.4.1 Hopfield的能量函数 能量函数定义及性质(3/7) 又由于 即： 再根据连接权值的对称性，即wij=wji， 有： * 7.4.1 Hopfield的能量函数 能量函数定义及性质(4/7) 即可以引起网络能量变化的部分为 为了更清晰地描述网络能量的变化，我们引入时间概念。假设t表示当前时刻，t+1表示下一时刻，时刻t和t+1的网络能量分别为E(t)和E(t+1)，神经元i和神经元j在时刻t和t+1的输出分别为vi(t)、vj(t)和vj(t+1)、vj(t+1)。由时刻t到t+1网络能量的变化为： ΔE= E(t+1) - E(t) 当网络中仅有神经元k的输出发生变化，且变化前后分别为t和t+1，则有 * 7.4.1 Hopfield的能量函数 能量函数定义及性质(5/7) 当神经元k的输出vk由1变0时，有 此时，由于神经元k的输出为1，即有： 因此： * 7.4.1 Hopfield的能量函数 能量函数定义及性质(6/7) 当神经元k的输出vk由0变1时，有 此时，由于神经元k的输出为0，即有： 因此： * 7.4.1 Hopfield的能量函数 能量函数定义及性质(7/7) 可见，无论神经元k的状态由“1”变为“0” 时，还是由“0”变为“1” 时，都总有： 它说明离散Hopfield网络在运行中，其能量函数总是在不断降低的，最终将趋于稳定状态。 ΔEk0 由于神经元k是网络中的任一神经元，因此它具有一般性，即对网络中的任意神经元都有： ΔE0 * 例7.2 如图所示的三个节点的Hopfield网络，若给定的初始状态为： V0={1,0,1} 各节点之间的联结权值为： w12=w21=1，w13=w31=-2，w23=w32=3 各节点的阈值为 θ1=-1， θ2=2， θ3=1 请计算在此状态下的网络能量。 解：E=-(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = -(w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =-(1×1×0+(-2)×1×1+3×0×1)+(-1) ×1+2×0+1×1 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 7.4.1 Hopfield的能量函数 计算网络能量的例子 * (1) 设置联结权值 其中，xis 为S型样例（即记忆模式）的第i个分量，它可以为1或0（或-1），样例类别数为m，节点数为n。 (2) 对未知类别的样例初始化