重庆科创学院-现代设计方法之2.4无约束设计的最优化方法教材.ppt

2.4 多维无约束优化方法 主要内容 1、Powell法的应用计算 2、梯度法的应用计算 3、共轭梯度法的应用计算 4、变尺度法的应用计算 重点难点 共轭与共轭方向的概念 共轭方向的形成 常用的无约束优化设计方法的基本步骤与几何解释 第2章第一节所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于多维约束优化问题。工程问题大都如此。 为什么要研究多维无约束优化问题??? (1)有些实际问题，其数学模型本身就是一个多维无约束优化问题。 (2)通过熟悉它的解法可以为研究多维约束优化问题打下良好的基础。 (3)多维约束优化问题的求解可以通过一系列多维无约束优化方法来达到。所以多维无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 多维无约束优化问题是： 求n维设计变量 使目标函数： 多维无约束优化方法算法的基本过程: 从选定的某初始点x(k)出发，沿着以一定规律产生的有哪些信誉好的足球投注网站方向S(k)，取适当的步长a(k),逐次搜寻函数值下降的新迭代点x(k+1),使之逐步通近最优点x*。 可以把初始点x(k)、有哪些信誉好的足球投注网站方向S(k)、迭代步长a(k)称为优化方法算法的三要素。其中以有哪些信誉好的足球投注网站方向S(k)更为突出和重要，它从根本上决定一个算法的成败、收敛速率的快慢等。 一个算法的有哪些信誉好的足球投注网站方向成为该优化方法的基本标志，分析、确定有哪些信誉好的足球投注网站方向S(k)是研究优化方法的最根本的任务之一。 2.4.1 最速下降(梯度)法 根据一元函数极值的必要条件和多元复合函数求导公式，得 这一问题的目标函数f(x)的等值线为一簇椭圆。 梯度法的特点: （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，收敛速度并不快，因为最速下降方向仅是指某点的一个局部性质。 2.4.2 共轭方向法 1.共轭方向 设G为n×n阶实对称正定矩阵，如果有两个n维向量S0和S1满足 ，则称向量S0与S1 关于矩阵G共轭。 如果能够选定这样的有哪些信誉好的足球投注网站方向，那么对于二元二次函数只需顺次进行S0、S1两次直线有哪些信誉好的足球投注网站就可以求到极小点x*，即有 3.共轭梯度法 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维有哪些信誉好的足球投注网站: 则： 共轭梯度法特点 1）每步迭代只需存储若干向量（适用于大规模问题）； 2）有二次终结性（对于正定二次函数，至多n次迭代可达opt.） 比较梯度法与共轭梯度法 1、梯度法：有哪些信誉好的足球投注网站方向为目标函数负梯度方向，计算速度开始有哪些信誉好的足球投注网站下降快，愈接近极值点下降愈慢。对初始点的选择要求不高，适合与其它方法结合使用。 2、共轭梯度法：第一步有哪些信誉好的足球投注网站沿负梯度方向，然后沿负梯度的共轭方向有哪些信誉好的足球投注网站。计算效率优于梯度法。对初始点没有特殊的要求，不需要计算二阶偏导数矩阵及其逆矩阵，计算量与梯度法相当。适用于各种大规模的问题。 2.4.3 鲍威尔方法 鲍威尔（Powell）法是直接利用函数值来构造共轭方向的一种方法 根据梯度和等值面相垂直的性质，Sj和xk,xk+1两点处的梯度gk，gk+1之间存在关系: 2.基本算法 把二维情况的基本算法扩展到n维，则鲍威尔基本算法的要点是： 在每一轮迭代中总有一个始点（第一轮的始点是任选的初始点）和n个线性独立的有哪些信誉好的足球投注网站方向。从始点出发顺次沿n个方向作一维有哪些信誉好的足球投注网站得一终点，由始点和终点决定了一个新的有哪些信誉好的足球投注网站方向。 用这个方向替换原来n个方向中的一个，于是形成新的有哪些信誉好的足球投注网站方向组。替换的原则是去掉原方向组的第一个方向而将新方向排在原方向的最后。此外规定，从这一轮的有哪些信誉好的足球投注网站终点出发沿新的有哪些信誉好的足球投注网站方向作一维有哪些信誉好的足球投注网站而得到的极小点，作为下一轮迭代的始点。这样就形成算法的循环。 因为在迭代中的n个有哪些信誉好的足球投注网站方向有时会变成线性相关而不能形成共轭方向的情况。从而导致可能求不到极小点，所以上述基本算法有待改进。 为此，要解决两个关键问题： （1）Sk＋1是否较好？是否应该进入新的方向组？即方向组是否进行更新？ （2）如果应该更新方向组， Sk＋1不一定替换方向 ，而是有选择地替换某一方向 。 则在循环中函数下降最多的第m次迭代是 这样重复迭代的结果，后面加进去的向量都彼此对G共轭，经n轮迭代即可得到一个由n个共轭方向所组成的方向组。对于n次函次，最多n次就可找到极小点，而对一般函数，往往要超过n次才能找到极小点（这里“n”表示设计空间的维数）。 例2.4-5 用改进的鲍威尔法求目标函数 的最优解。已知初始点[1,1]T，迭代精度 以 为起点，沿第二坐标轴方向e2进行一维有哪些信誉好的足球投注网站 由于满足Powell条件，则淘汰函数值下降量最大的方向e