9.第10篇章 随机神经网络.ppt

谢谢大家！ * * 第10章 随机神经网络 编 者 Outline 1.模拟退火算法 2.Boltzmann机 3.Sigmoid置信度网络 4.MATLAB模拟退火算法工具 5.模拟退火算法求解TSP问题 1.模拟退火算法 随机神经网络的核心思想，就是在网络中加入概率因素，网络并不是确定地向能量函数减小的方向演化，而是以一个较大的概率向这个方向演化，以保证迭代的正确方向，同时向能量函数增大的方向运行的概率也存在，以防止陷入局部最优。 随机神经网络与模拟退火算法关系密切。 模拟退火算法是非凸问题寻优的一种重要工具 考虑如下问题：自变量可取的值为区间 ，在这个区间上定义了一个函数，求其最小值。函数的计算方式比较复杂，无法直接通过微分等符号数学的手段求出，只能通过计算给出一个数值解。 1.模拟退火算法 1.穷举 。效率极低；函数是连续的，穷举不可实现 2.有哪些信誉好的足球投注网站 ：盲目有哪些信誉好的足球投注网站、启发式有哪些信誉好的足球投注网站 盲目有哪些信誉好的足球投注网站只适用于求解比较简单的问题。盲目有哪些信誉好的足球投注网站按照预定的控制策略实行有哪些信誉好的足球投注网站，没有利用有哪些信誉好的足球投注网站过程中的中间信息。最常见的盲目有哪些信誉好的足球投注网站算法如广度优先有哪些信誉好的足球投注网站、深度优先有哪些信誉好的足球投注网站以及相同代价有哪些信誉好的足球投注网站、迭代加深等。 启发式有哪些信誉好的足球投注网站需要用到启发信息，启发信息时为减小有哪些信誉好的足球投注网站范围而需要利用的已知有关具体问题领域的信息。典型的启发式有哪些信誉好的足球投注网站如遗传算法、蚁群算法、粒子群算法等。模拟退火算法就是一种启发式算法。 1.模拟退火算法 较简单的启发式有哪些信誉好的足球投注网站算法如贪心算法和爬山法。在爬山法中，系统从某个初值x0开始有哪些信誉好的足球投注网站，在每一个值附近随机产生一系列新的值x01,x02,…，然后代入函数进行计算，得出这些值中最优的一个x0i，如果f(x0i)f(x0)，则说明x0i优于x0，就用x0i作为当前最优值，否则维持不变 . 在一段单调性明显的区间中，这种算法能很快收敛于该区间的最优值。但有两个严重的问题制约了爬山法的性能 对初值敏感。不同的初值可能导致完全不同的结果。 容易陷入局部最优，而且容易停滞在平坦区。 模拟退火算法（Simulated Annealing，SA）能有效解决上述问题。 1.模拟退火算法 “退火”是物理学术语，指对物体加温后再冷却的过程。模拟退火算法源于晶体冷却的过程，如果固体不处于最低能量状态，给固体加热再冷却，随着温度缓慢下降，固体中的原子按一定形状排列，形成高密度低能量的有规则晶体，在算法中对应全局最优值。而如果温度下降过快，可能导致原子缺少足够的时间排列成晶体结构，结果产生了具有较高能量的非晶体，这就是局部最优值。 以概率来接受新状态，而不是使用完全确定的规则，称为Metropolis准则，可以显著减小计算量 当状态转移之后，如果能量减小了，那么这种转移就被接受了（以概率1发生）。如果能量增大了，就说明系统偏离全局最优位置（能量最低点）更远了，此时算法不会立即将其抛弃，而是进行概率操作首先在区间产生一个均匀分布的随机数x，如果xp，这种转移也将被接受，否则拒绝转移 1.模拟退火算法 直接使用上述算法可能会导致寻优的速度太慢，以至于无法实用。采用一个退火温度表 ： （1）温度的初始值，初始温度应选得足够高，使得所有可能的状态转移都能被接受。 （2）退火速率。最简单的速率下降方式是指数式下降 （3）终止温度 2.Boltzmann机 类比： 在起伏的曲面上扔下一个小球，使小球落到整个曲面的最低处 。 假设曲面摩擦很大，小球到达底部就不会再向上运动。当时，扔下小球后，小球就沿着斜面向下滚动，停在某个“山谷”处。此时，算法能否找到全局最优点，对迭代的初始值非常敏感。 当T不为零时，相当于轻轻摇晃整个曲面，位于局部最低点的小球可能发生跳跃，越过“山顶”，最终停在另一个“山谷”处。值越大，摇晃地越剧烈，小球就在各个“山谷”中跳动，跳到最低的那个“山谷”（全局最优点）的概率最大。如果T为无穷大，则相当于重力消失，小球随机跳动，求得的结果也是完全随机的，没有意义。 2.Boltzmann机 Boltzmann机的运行步骤 。与模拟退火算法的区别是，Boltzmann机的代价函数为能量函数，且具有一定的网络结构 （1）初始化。 （2） 计算新值，确定更新或执行概率操作。 （3）检查小循环的终止条件。 （4）按指定规律降温，并检查大循环的终止条件 在小循环中，温度保持恒定，算法选择不同的神经元进行状态调整，达到热平衡后进行降温，进入新的温度下的小循环。大循环是指整个降温、计算的过程，当大循环结束，算法也就结束了。 3.Sig