第八章无约束优化方法详解.ppt

§8-1 最速下降法（梯度法） §8-2 牛顿类方法 §8-3 变尺度法 §8-4 共轭方向法 §8-5 鲍威尔方法 §8-6 其它方法（如坐标轮换法、单纯形法）; 第1章所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。 为什么要研究无约束优化问题? （1）有些实际问题，其数学模型本身就是一个无约束优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。; （4）对于多维无约束问题来说，古典极值理论中令一阶导数为零，但要求二阶可微，且要判断海赛矩阵为正定才能求得极小点，这种方法有理论意义，但无实用价值。和一维问题一样，若多元函数F(X)不可微，亦无法求解。但古典极值理论是无约束优化方法发展的基础。 ; 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造有哪些信誉好的足球投注网站方向上的差别。 ;有哪些信誉好的足球投注网站方向的构成问题乃是无约束优化方法的关键。;8-1 梯度法; 为了使目标函数值沿有哪些信誉好的足球投注网站方向 能够获得最大的下降值，其步长因子 应取一维有哪些信誉好的足球投注网站的最佳步长。即有; 在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而有哪些信誉好的足球投注网站方向就是负梯度方向，因此相邻两个有哪些信誉好的足球投注网站方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。 ;方法特点 （1）初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。 （2）任意相邻两点的有哪些信誉好的足球投注网站方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。 ;sk;沿负梯度方向进行一维有哪些信誉好的足球投注网站，有;算出一维有哪些信誉好的足球投注网站最佳步长 ; 这个问题的目标函数的等值线为一簇椭圆,迭代点从 走的是一段锯齿形路线，见图4-3。 ;将上例中目标函数 引入变换;β;经变换后，只需一次迭代，就可找到最优解。;梯度法的特点;2、牛顿法及其改进;这就是多元函数求极值的牛顿法迭代公式。 ; 从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭代公式，有时会使函数值上升 。; 阻尼牛顿法程序框图 ;方法特点 （1） 初始点应选在X*附近，有一定难度； （2） 尽管每次迭代都不会是函数值上升，但不能保证每次下降 ； （3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； ??（4）?不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。 虽然阻尼牛顿法有上述缺点，但在特定条件下它具有收敛最快的优点，并为其他的算法提供了思路和理论依据。;一般迭代式：;8-3 变尺度法;基本思想 变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。 ; 消除了函数的偏心，用最速下降法只需一次迭代即可求得极小点。;Ak 是需要构造n×n的一个对称方阵 ，;进行尺度变换;牛顿迭代公式：;在例8－2中;求得：;构造尺度矩阵Ak;2）BFGS算法(Broyden-Fletcher-Gold frob-Shanno );例8-3： 用DFP算法求下列问题的极值：;沿d0方向进行一维有哪些信誉好的足球投注网站，得 ;代入校正公式;=;为一维有哪些信誉好的足球投注网站最佳步长，应满足 ;梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。 ;8-4 共轭方向法 ; 因为 是沿d0方向有哪些信誉好的足球投注网站的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。考虑到点x1处方向导数与梯度之间的关系，故有 ;α0d0;如果能够选定这样的有哪些信誉好的足球投注网站方向，那么对于二元二次函数只需顺次进行d0、d1两次直线有哪些信誉好的足球投注网站就可以求到极小点x* ，即有 ; 就是使d1直指极小点x* ， d1所必须满足的条件 。;关键：新的共轭方向确定; 在无约束方法中许多算法都是以共轭方向作为有哪些信誉好的足球投注网站方向，它们具有许多特点。根据构造共轭方向的原理不同，可以形成不同的共轭方向法。 ;3.共轭梯度法;则：;将式;，已知初始点[1,1]T;得:;得;8-5 鲍威尔方法;对函数：;梯度和等值面相垂直的性质, dj和 xk, xk+1两点处的梯度gk,gk+1之