循环网络.ppt

2003-2-4 第7章 循环网络 7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题 第7章 循环网络 循环网络中，网络接收到一个信号后，让该信号在网络中反复循环处理，直至变化停止，或变化幅度足够小时，此时给出的输出才能算是它的输出。 若对给定的输入，网络都能给出一个相应的输出，则称此网是稳定的。 如果在接到信号后，输出端不断地出现新的信号，也就是说，它的输出总保持有超出给定范围的变化，则网络是不稳定的。 第7章 循环网络 循环网络对输入信号的处理是一个逐渐“修复”、“加强”的过程。 对循环网络来说，理想的状况：信号遵循如下变化规律： 强烈变化 较弱的变化 不变化 循环网络又称为Hopfield网 7.1 循环网络的组织 联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。 神经元个数h，输入向量维数n，输出向量维数m。 输入神经元：直接接受输入的神经元。（n） 输出神经元：输出计算结果的神经元。（m） 其余的是隐藏神经元。 h≥n，h≥m，n≥1，m≥1。 最基本的Hopfield网络：n=m=h 。 状态变化：非同步、同步 输入向量：X=(x1，x2，…，xn) 输出向量：O=(o1，o2，…，om) 7.1 循环网络的组织 网络结构 7.1 循环网络的组织 神经元的网络输入： 最基本的Hopfield网 最基本的Hopfield网 希望网络实现联想功能，且在联想过程中实现对信息的“修复”和“加强”。 要求网络的联接矩阵存放的是一组这样的样本：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S={ Y1，Y2，…，Ys} 最基本的Hopfield网 权矩阵：wij= i≠j wii=0 1≤i≤n yik表示Yi的第k个元素。 W是一个对角线元素为0的对称矩阵： W是各个样本向量自身的外积的和——网络实现的是自相联映射。 最基本的Hopfield网 激活函数： 改为S形函数后，系统就成为一个连续系统 多级循环网络 除输出层的输出向量被反馈到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送 。 7.2 稳定性分析 网络的稳定性是与收敛性不同的问题 收敛性：在网络的训练过程中，算法最终能使网络变得对训练样本集中的所有样本都能给出误差精度要求范围内的结果。 稳定性：在网络的运行中，对一个输入向量，由于网络中信号反馈的作用，经过网络不断地“修复”、“加强”，最后能给出对应该输入的适当的输出向量。 7.2 稳定性分析 Cohen和Grossberg证明了Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的。 证明： 用著名的Lyapunov函数作为Hopfield网络的能量函数 Lyapunov函数——能量函数 wijoioj：该项是网络的一致性测度。 xioj：表示同一个神经元的输入和它的输出的一致性测度。 θjoj：这一项是神经元自身的稳定性的测度。 证明稳定性 任取一神经元ANk，在网络的某此循环中，它的状态从ok变成ok′。 设W是对角线为0的对称矩阵： wij= wji (1≤i≤h,1≤j≤h) wii=0 (1≤i≤) 能量函数： 有两种情况： 当ANk的状态从ok变成ok′ 1、ANk是输入神经元 当ANk的状态从ok变成ok′ 当ANk的状态从ok变成ok′ Δok表示ANk状态的变化。当Δok=0时，ΔΕ=0 当Δok0必有ok′=1 ok=0，这表示ok由0变到1，因此必有netkθk，所以netk-θk0，从而-（netk-θk）Δok0故此时有ΔΕ0 这就是说，网络的目标函数是下降的。 Δok0的情况类似。 当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 当ANk的状态从ok变成ok′ 当ANk的状态从ok变成ok′ 结论：E在网络的运行中是广义下降的。 “W是对角线为0的对称矩阵”这个条件保证了Hopfield网络的稳定性。但并不是必要条件。 7.3 统计Hopfield网与Boltzmann机 统计Hopfield网 在网络运行中，神经元状态与和 “人工温度”确定的概率相关。网络运行模拟金属退火过程 算法 7-1 统计Hopfie