最优化第 十 章(06-5).ppt

* 10.3 模拟退火算法 10.3.3 模拟退火算法关键参数和操作的设定 从算法流程上看，模拟退火算法包括三函数两准则，即状态产生函数、状态接受函数、温度更新函数、内循环终止准则和外循环终止准则，这些环节的设计将决定SA算法的优化性能。此外，初温的选择对SA算法性能也有很大影响。 10.3 模拟退火算法 ⑴状态产生函数 设计状态产生函数（邻域函数）的出发点应该是尽可能保证产生的候选解遍布全部的解空间。通常，状态产生函数由两部分组成，即产生候选解的方式和候选解产生的概率分布。 10.3 模拟退火算法 ⑵状态接受函数 状态接受函数一般以概率的方式给出，不同接受函数的差别主要在于接受概率的形式不同。设计状态接受概率，应该遵循以下原则： ①在固定温度下，接受使目标函数值下降的候选解的概率要大于使目标值上升的候选解的概率； 10.3 模拟退火算法 ②随温度的下降，接受使目标函数值上升的解的概率要逐渐减小； ③当温度趋于零时，只能接受目标函数值下降的解。 状态接受函数的引入是SA算法实现全局有哪些信誉好的足球投注网站的最关键的因素，SA算法中通常采用min[1,exp(-△C/t)]作为状态接受函数。 10.3 模拟退火算法 ⑶初温 初始温度、温度更新函数、内循环终止准则和外循环终止准则通常被称为退火历程(annealing schedule)。实验表明，初温越大，获得高质量解的几率越大，但花费的计算时间将增加。因此，初温的确定应折衷考虑优化质量和优化效率，常用方法包括： 10.3 模拟退火算法 ⑷温度更新函数 温度更新函数，即温度的下降方式，用于在外循环中修改温度值。 目前，最常用的温度更新函数为指数退温函数，即，其中且其大小可以不断变化。 10.3 模拟退火算法 ⑸内循环终止准则 内循环终止准则，或称Metropolis抽样稳定准则，用于决定在各温度下产生候选解的数目。在非时齐SA算法理论中，由于在每个温度下只产生一个或少量候选解，所以不存在选择内循环终止准则的问题。 10.3 模拟退火算法 而在时齐SA算法理论中，收敛条件要求在每个温度下产生候选解的数目趋于无穷大，以使相应的马氏链达到平稳概率分布，显然在实际应用算法时这是无法实现的。常用的抽样准则包括： ①检验目标函数的均值是否稳定； ②连续若干步的目标值变化较小； ③按一定的步数抽样。 10.3 模拟退火算法 ⑹外循环终止准则 外循环终止准则，即算法终止准则，用于决定算法何时结束。设置温度终值是一种简单的方法。SA算法的收敛性理论中要求温度终值趋于零，这显然不合实际。通常的做法是： 10.3 模拟退火算法 ①设置终止温度的阈值； ②设置外循环迭代次数； ③算法收敛到的最优值连续若干步保持不变； ④检验系统熵是否稳定。 10.4 神经网络权值的混合优化学习策略 鉴于GA、SA的全局优化特性和通用性，即优化过程无需导数信息，我们可以基于实数编码构造BPSA、BPGA混合优化学习策略，以提高前向网络学习的速度、精度，特别是避免陷入局部极小的能力。 10.4 神经网络权值的混合优化学习策略 10.4.1 BPSA混合学习策略 在BPSA混合学习策略中，采用以BP为主框架，并在学习过程中引入SA策略。这样做，既利用了基于梯度下降的有指导学习来提高局部有哪些信誉好的足球投注网站性能，也利用了SA的概率突跳性来实现最终的全局收敛，从而可提高学习速度和精度。 BP-SA混合学习策略的算法步骤如下： 10.4 神经网络权值的混合优化学习策略 ⑴??? 随机产生初始权值 ，确定初温 ，令 ⑵??? 利用BP计算 。 利用SA进行有哪些信誉好的足球投注网站： ① 利用SA状态产生函数产生新权值 ， ，其中 为随机扰动。 10.4 神经网络权值的混合优化学习策略 ② 计算 的目标函数值与 的目标函数值之差 。 ③ 计算接受概率 。 ④ 若 ，则取 ；否则 保持不变。 10.4 神经网络权值的混合优化学习策略 (4) 利用退温函数 进行退温，其中 为退温速率。 若 对应的目标函数满足要求精度 ，则终止算法并输出结果；否则，令 ，转步骤⑵。 10.4 神经网络权值的混合优化学习策略 10.4.2 BPGA混合学习策略 神经网