[工学]第六章 现代最优化方法.ppt

一般认为vj(t)=0时神经元保持不变sj(t+1)=sj(t); 一般情况下网络是对称的（wij=wji）且无自反馈（wjj=0）; 整个网络的状态可用向量s表示： 第五节 神经网络优化算法 工作方式 串行（异步，asynchronous）:任一时刻只有一个单元改变状态，其余单元保持不变； 并行（同步，synchronous）：某一时刻所有神经元同时改变状态。 稳定状态 如果从t=0的任一初始态s(0)开始变化，存在某一有限时刻t，从此以后网络状态不再变化，即s(t+1)=s(t)，则称网络达到稳定状态。 第五节 神经网络优化算法 能量函数的定义 异步方式： 同步方式： 第五节 神经网络优化算法 能量函数 能量是有界的： 从任一初始状态开始，若在每次迭代时都满足ΔE≤0，则网络的能量将越来越小，最后趋向于稳定状态ΔE＝0 。 第五节 神经网络优化算法 网络结构 与电子线路对应： 放大器——神经元 电阻、电容——神经元的时间常数 电导（电阻的倒数）——权系数 2. 连续Hopfield神经网络 第五节 神经网络优化算法 网络的微分方程 能量函数 可证明，若g-1为单调增且连续，Cj0，Tji=Tij，则有dE/dt≤0，当且仅当dvi/dt=0时dE/dt=0。 第五节 神经网络优化算法 能量函数 将动力系统方程 简单记为： 如果 ，则称ve是动力系统的平衡点，也称ve为吸引子。 随着时间的增长，神经网络在状态空间中的解轨迹总是向能量函数减小的方向变化，且网络的稳定点就是能量函数的极小点。 第五节 神经网络优化算法 能量函数 当从某一初始状态变化时，网络的演变是使E下降，达到某一局部极小时就停止变化。这些能量的局部极小点就是网络的稳定点或称吸引子。 第五节 神经网络优化算法 Hopfield网络设计 当Hopfield用于优化计算时，网络的权值是确定的，应将目标函数与能量函数相对应，通过网络的运行使能量函数不断下降并最终达到最小，从而得到问题对应的极小解。 3. Hopfield神经网络在TSP 中的应用 (Travelling Salesman Problem) 第五节 神经网络优化算法 Hopfield网络设计 通常需要以下几方面的工作： （1）选择合适的问题表示方法，使神经网络的输出与问题的解相对应； （2）构造合适的能量函数，使其最小值对应问题的最优解； （3）由能量函数和稳定条件设计网络参数，如连接权值和偏置参数等； （4）构造相应的神经网络和动态方程； （5）用硬件实现或软件模拟。 第五节 神经网络优化算法 问题的表示 将TSP问题用一个n×n矩阵表示，矩阵的每个元素代表一个神经元。 代表商人行走顺序为：3→1→2→4 每一行、每一列的和各为1。 1 0 0 0 城市4 0 0 0 1 城市3 0 1 0 0 城市2 0 0 1 0 城市1 第4站 第3站 第2站 第1站 1为是，0为否 第五节 神经网络优化算法 能量函数的构建 每个神经元接收到的值为zij，其输出值为yij，激活函数采用Sigmoid函数，记两个城市x和y的距离是dxy。 (1) 希望每一行的和为1，即 最小，每一行最多有一个1时，E1＝0。 第五节 神经网络优化算法 (2) 希望每一列的和为1，即 最小，每一列最多有一个1时，E2＝0。 (3) 希望每一行每一列正好有一个1，则 为零。 第五节 神经网络优化算法 (4) E1，E2，E3只能保证TSP的一个可行解，为了得到TSP的最小路径，当duv=dvu时，希望 最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之间的距离（i代表行走顺序）。 第五节 神经网络优化算法 (5) 根据连续H