第四章 无约束优化方法.pptVIP

第四章 无约束优化方法 坐标轮换法 鲍威尔法 梯度法 牛顿法 DFP变尺度法 BFGS变尺度法 无约束优化方法的评价准则及选用 无约束优化方法是优化技术中基本的也是非常重要的内容。无约束优化问题的数学模型 求上述问题最优解（x*,F*）的方法，称为无约束优化方法 无约束优化方法，不仅可以直接求无约束优化设计问题的最优解，而且通过对无约束优化方法的研究给约束优化方法建立明确的概念、提供良好的基础·某些优化设计方法就是先把约束优化设计问题转化为无约束问题后，再直接用无约束优化方法求解。 解析法的收敛速率较高，直接法的可靠性较高。 本章介绍的坐标轮换法和鲍威尔法属于直接法；梯度法、共轭梯度法、牛顿法和变尺度法属于解析法 无约束优化方法算法的基本过程是: 从选定的某初始点x(k)出发，沿着以一定规律产生的有哪些信誉好的足球投注网站方向S(k) ,取适当的步长a(k) ,逐次搜寻函数值下降的新迭代点x(k+1),使之逐步逼近最优点x* 。可以把初始点x(k) 、有哪些信誉好的足球投注网站方向S(k) 、迭代步长a(k) 称为优化方法算法的三要素。其中以有哪些信誉好的足球投注网站方向S(k)更为突出和重要，它从根本上决定着一个算法的成败、收敛速率的快慢等。所以，一个算法的有哪些信誉好的足球投注网站方向成为该优化方法的基本标志，分析、确定有哪些信誉好的足球投注网站方向S(k)是研究优化方法的最根本的任务之一。 坐标轮换法 坐标轮换法属于直接法，既可以用于无约束优化问题的求解，又可以经过适当处理用于约束优化问题求解。 坐标轮换法是每次有哪些信誉好的足球投注网站只允许一个变量变化，其余变量保持不变，即沿坐标方向轮流进行有哪些信誉好的足球投注网站的寻优方法。它把多变量的优化问题轮流地转化成单变量（其余变量视为常量）的优化问题，因此又称这种方法为变量轮换法。此种方法只需目标函数的数值信息而不需要目标函数的导数。 一、坐标轮换法的迭代过程 任取一初始点x(0)作为第一轮的始点x0 (1),先沿第一坐标轴的方向e1作一维有哪些信誉好的足球投注网站，用一维优化方法确定最优步长?1(1) ，得第一轮的第一个迭代点 x1(1) =x0(1) + ?1(1) e1， 然后以 x1 (1)为新起点，沿第二坐标轴的方向e2作一维有哪些信誉好的足球投注网站，确定步长?2(1) ，得第一轮的第二个迭代点 x2(1) =x1(1) + ?1(1) e2第二轮迭代，需要 x0(2) ?x2 (1) x1(2) = x0(2) + ?1(2) e1 x2(2) =x1(2) + ?2(2) e2 依次类推，不断迭代，目标函数值不断下降，最后逼近该目标函数的最优点。 二、终止准则 可以采用点距准则 注意： 若采用点距准则或函数值准则，其中采用的点应该是一轮迭代的始点和终点，而不是某有哪些信誉好的足球投注网站方向的前后迭代点。 坐标轮换法的计算步骤 小结 坐标轮换法程序简单，易于掌握。但是计算效率比较低，尤其是当优化问题的维数较高时更为严重。一般把此种方法应用于维数小于10的低维优化问题。 对于目标函数存在 “脊线”的情况，在脊线 的尖点处没有一个坐标方 向可以使函数值下降，只 有在锐角所包含的范围搜 索才可以达到函数值下降 的目的，故坐标轮换法对 此类函数会失效。 鲍威尔方法 鲍威尔方法是直接有哪些信誉好的足球投注网站法中一个十分有效的算法。该算法是沿着逐步产生的共轭方向进行有哪些信誉好的足球投注网站的，因此本质上是一种共轭方向法。 一、鲍威尔基本算法 如图所示，以三维二次目标函数的无约束优化问题为例。 鲍威尔基本算法的步骤： 第一环基本方向组取单位坐标矢量系e1、 e2、 e3 、…、 en，沿这些方向依次作一维有哪些信誉好的足球投注网站，然后将始末两点相连作为新生方向， Sk=xnk-x0k 再沿新生方向作一维有哪些信誉好的足球投注网站，完成第一环的迭代。以后每环的基本方向组是将上环的第一个方向淘汰，上环的新生方向补入本环的最后而构成。 S2k S3k …… Sn Sk n维目标函数完成n环的迭代过程称为一轮。从这一轮的终点出发沿新生方向有哪些信誉好的足球投注网站所得到的极小点，作为下一轮迭代的始点。这样就形成了算法的循环。 鲍威尔基本算法的缺陷：  可能在某一环迭代中出现基本方向组为线性相关的矢量系的情况。如第k环中，产生新的方向： Sk=xn