湘潭大学 人工智能课件 机器学习.pptVIP

式中，n是网络中的神经元个数，wij是神经元i和神经元j之间的连接权值，且有wij=wji； vi和vj分别是神经元i和神经元j的输出；θi是神经元i的阈值。 可以证明，对Hopfield网络，无论其神经元的状态由“0”变为“1”，还是由“1”变为“0”，始终有其网络能量的变化： ΔE0 Hopfield的能量函数 能量函数定义及性质 能量函数用于描述Hopfield网络的稳定性。其定义为： 对网络能量变化的这一结论，我们可以从网络能量的构成形式进行分析。 如果假设某一时刻网络中仅有神经元k的输出发生了变化，而其它神经元的输出没有变化，则可把上述能量函数分作三部分来讨论。其中，第一部分是i=1,…,k-1；第二部分是i=k；第三部分是i=k+1,…,n。 即网络能量函数可写成如下形式： Hopfield的能量函数 能量函数定义及性质(2/7) 在这种形式中，可以引起网络能量变化的仅有公式中的如下部分： i=1,…,k-1 ，j≠k，这部分能量与k的输出无关 i=1,…,k-1 ，j=k，这部分能量与k的输出有关 i=k ，j≠k，这部分能量与k的输出有关 i=k+1,…,n ，j≠k，这部分能量与k的输出无关 i=k+1,…,n ，j≠k，这部分能量与k的输出有关 Hopfield的能量函数 能量函数定义及性质(3/7) 又由于 即： 再根据连接权值的对称性，即wij=wji， 有： Hopfield的能量函数 能量函数定义及性质(4/7) 即可以引起网络能量变化的部分为 为了更清晰地描述网络能量的变化，我们引入时间概念。假设t表示当前时刻，t+1表示下一时刻，时刻t和t+1的网络能量分别为E(t)和E(t+1)，神经元i和神经元j在时刻t和t+1的输出分别为vi(t)、vj(t)和vj(t+1)、vj(t+1)。由时刻t到t+1网络能量的变化为： ΔE= E(t+1) - E(t) 当网络中仅有神经元k的输出发生变化，且变化前后分别为t和t+1，则有 Hopfield的能量函数 能量函数定义及性质(5/7) 当神经元k的输出vk由1变0时，有 此时，由于神经元k的输出为1，即有： 因此： Hopfield的能量函数 能量函数定义及性质(6/7) 当神经元k的输出vk由0变1时，有 此时，由于神经元k的输出为0，即有： 因此： Hopfield的能量函数 能量函数定义及性质(7/7) 可见，无论神经元k的状态由“1”变为“0” 时，还是由“0”变为“1” 时，都总有： 它说明离散Hopfield网络在运行中，其能量函数总是在不断降低的，最终将趋于稳定状态。 ΔEk0 由于神经元k是网络中的任一神经元，因此它具有一般性，即对网络中的任意神经元都有： ΔE0 例 如图所示的三个节点的Hopfield网络，若给定的初始状态为： V0={1,0,1} 各节点之间的联结权值为： w12=w21=1，w13=w31=-2，w23=w32=3 各节点的阈值为 θ1=-1， θ2=2， θ3=1 请计算在此状态下的网络能量。 解：E=-(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = -(w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =-(1×1×0+(-2)×1×1+3×0×1)+(-1) ×1+2×0+1×1 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 Hopfield的能量函数 计算网络能量的例子 (1) 设置联结权值 其中，xis 为S型样例（即记忆模式）的第i个分量，它可以为1或0（或-1），样例类别数为m，节点数为n。 (2) 对未知类别的样例初始化 其中，yi(t)为节点i时刻t的输出，yi(0)是节点的初值；xi为输入样本的第i个分量。 (3) 迭代运算 其中，函数f为阈值型。重复这一步骤，直到新的迭代不能再改变节点的输出为止，即收敛为止。这时，各节点的输出与输入样例达到最佳匹配。否则 (4) 转第(2)步继续。 Hopfield网络学习算法 神经学习 单层感知器算法： 感知器网络：单层前向网络 学习算法：纠错学习方法 用梯度下降法调整网络连接权值，使总的输出误差向