我的人工神经网络10非确定方法.ppt

10.2 模拟退火算法的马氏链描述 定义 一步转移概率： n步转移概率： 若解空间有限，称马尔可夫链为有限状态； 若 ，称马尔可夫链为时齐的。 10.2.1 马尔科夫链 10.2 模拟退火算法的马氏链描述 模拟退火算法对应了一个马尔可夫链 模拟退火算法：新状态接受概率仅依赖于新状态和当前状态，并由温度加以控制。 若固定每一温度，算法均计算马氏链的变化直至平稳分布，然后下降温度，则称为时齐算法； 若无需各温度下算法均达到平稳分布，但温度需按一定速率下降，则称为非时齐算法。 分析收敛性 10.2.2 模拟退火算法与马尔科夫链 10.3 模拟退火算法关键参数和操作的设计 原则 产生的候选解应遍布全部解空间 方法 在当前状态的邻域结构内以一定概率方式（均匀分布、正态分布、指数分布等）产生 10.10.1 状态产生函数 10.3 模拟退火算法关键参数和操作的设计 原则 (1)在固定温度下，接受使目标函数下降的候选解的概率要大于使目标函数上升的候选解概率； (2)随温度的下降，接受使目标函数上升的解的概率要逐渐减小； (3)当温度趋于零时，只能接受目标函数下降的解。 方法 具体形式对算法影响不大 一般采用min[1,exp(-?C/t)] 10.10.2 状态接受函数 10.3 模拟退火算法关键参数和操作的设计 收敛性分析 通过理论分析可以得到初温的解析式，但解决实际问题时难以得到精确的参数； 初温应充分大； 实验表明 初温越大，获得高质量解的机率越大，但花费较多的计算时间； 10.10.3 初温 10.3 模拟退火算法关键参数和操作的设计 方法 （1）均匀抽样一组状态，以各状态目标值得方差为初温； （2）随机产生一组状态，确定两两状态间的最大目标值差，根据差值，利用一定的函数确定初温； （3）利用经验公式。 10.10.3 初温 10.3 模拟退火算法关键参数和操作的设计 时齐算法的温度下降函数 （1） ，α越接近1温度下降越慢，且其大小可以不断变化； （2） ，其中t0为起始温度，K为算法温度下降的总次数。 10.10.4 温度更新函数 10.3 模拟退火算法关键参数和操作的设计 时齐算法——常用的Metropolis抽样稳定准则 （1）检验目标函数的均值是否稳定； （2）连续若干步的目标值变化较小； （3）按一定的步数抽样。 10.10.5 内循环终止准则 10.3 模拟退火算法关键参数和操作的设计 常用方法 （1）设置终止温度的阈值； （2）设置外循环迭代次数； （3）算法有哪些信誉好的足球投注网站到的最优值连续若干步保持不变； （4）概率分析方法。 10.10.6 外循环终止准则 模拟退火组合优化法 目标函数——能量函数 人工温度T——一个初值较大的数 依据网络的能量和温度来决定联接权的调整量（称为步长）。 与金属的退火过程（Annealing）非常相似 模拟退火组合优化法 基本思想 随机地为系统选择一个初始状态{wij(p)}，在此初始状态下，给系统一个小的随机扰动Δwij(p)，计算系统的能量变化 ΔE=E({wij(p)+Δwij(p)})-E({wij(p)}) 若 ΔE0 则接受 若ΔE≥0 则依据概率 判断是否被接受 若接受，则系统从状态{wij(p)}变换到状态{wij(p)+Δwij(p)}；否则，系统保持不变 模拟退火组合优化法 在这个过程中，逐渐地降低温度T。所得的系统状态序列{wij(p) }将满足下列分布 算法10-2 模拟退火算法 1初始化个层的联接权矩阵W；定义人工温度T的初值； 2?对每一个温度T重复如下过程： 2.1?取一样本，计算其输出与目标函数E({wij(p) })； 2.2?? 随机地从{wij(p) }中选取一个wij(p)； 2.3?? 按一定的算法产生wij(p) 的一个调整量Δwij(p) ； 2.4?? 按照{ wij(p) +Δwij(p) }重新计算相应输出和目标函