随机神经网络及模拟退火算法讲述.doc

第6章 随机神经网络及模拟退火算法 前面介绍了两种典型的神经网络：多层前向网络—BP网络和反馈神经网络—Hopfield网络。从网络结构上来看：BP网络含有输入层、隐层和输出层，层内神经元无连接；而Hopfield网络无输入层、隐层和输出层，是一个单层神经网络，层内神经元是全互联的。从学习算法上来看：BP网络按误差减小的最大梯度方向调整网络权值，是一种“贪心”算法，容易陷入局部极小点；而Hopfield网络是按照其用途来设计或训练网络的权值，很难避免出现伪状态，对于有用的吸引子，其吸引力的强弱、吸引域的大小也不同，而且网络是严格按照能量减小的方向运行的，这就容易陷入局部极小点，而无法跳出。 在用BP网络和Hopfield网络进行最优化计算时，由于限定条件的不足，往往会使网络稳定在误差或能量函数的局部极小点，而不是全局最小点，即所得的结果不是最优解。 网络陷入局部极小点的原因主要有两点： （1）网络结构上存在着输入到输出之间的非线性函数关系，从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间。 （2）在算法上，网络的误差或能量函数只能单方向减小，不能有一点上升。 对于第（1）点，是为了保证网络具有非线性映射能力而必不可少的。那么要提高网络的性能，只能从第（2）点入手，即网络运行向误差或能量函数减小方向运行的概率大，向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向全局最小点收敛的概率最大。这就是随机神经网络算法的基本思想。 随机神经网络是统计力学思想引入神经网络研究的结果。统计力学是研究大系统宏观平衡性质的学科，这种大系统的组成元素服从微观机制。统计力学的主要目的是寻找从微观粒子（原子、电子）的运动开始的宏观物体的热力学性质（Landau and Lifshitz, 1980; Parisi, 1988），由于所遇到的自由度数目很大，因此只能使用概率的方法进行研究。 上世纪80年代，Ackley, Hinton和Sejnowski等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络。其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为（其平衡状态服从Boltzmann分布）。Boltzmann机的运行机制服从模拟退火算法。 本章首先介绍Boltzmann机的结构，并结合Boltzmann机的结构讨论Boltzmann机的运行机制以及学习算法。由于Boltzmann机学习过程中存在着计算时间过长和对统计错误敏感的缺点，在6.2节讨论了确定性Boltzmann机和Sigmoid置信度网络。6.3节讨论了模拟退火算法以及它在组合优化问题上的应用。最后给出仿真实例。 6.1 Boltzmann机 Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点，具有多层网络含义的网络结构、简易而高效的学习算法以及依概率方式工作的动态运行机制。 6.1.1 Boltzmann机的网络结构 Boltzmann机考虑到多层网络的优点，采用具有多层网络含义的网络结构，其网络结构如图6.1所示。Boltzmann机由输入部、输出部和中间部构成。输入部和输出部神经元通称作显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换，但Boltzmann机网络没有明显的层次。另外，Boltzmann机考虑到Hopfield网络的动态特性，其神经元是互联的，网络状态按照概率分布进行变化。 图6.1 Boltzmann机的网络结构 与Hopfield网络一样，网络中每一对神经元之间的信息传递是双向对称的，即wij= wji，而且自身无反馈，即wii=0。学习期间，显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。 Boltzmann机中每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入。Boltzmann机中单个随机神经元的形式化描述如图6.2所示。 图6.2 Boltzmann机神经元的形式化描述 神经元i的全部输入信号的总和为ui，由式（6.1）给出。式中bi是该神经元的阈值。可以将bi归并到总的加权和中去，即得到式（6.2）： （6.1） 或 （6.2） 神经元的输出vi依概率取1或0： vi取1的概率： （6.3） vi取0的概率： （6.4） 显然，ui越大，则vi取1的概率越大，而取0的概率越小。参数T称为“温度”，对vi取1或0的概率有影响。在不同的温度下vi取