机械优化设计之无约束优化方法培训课件.pptx

机械优化设计上 海 海 事 大 学SHANGHAI MARITIME UNIVERSITY何军良2016年9月 上海海事大学Shanghai Maritime University约束优化方法 无约束优化方法优化设计的数学基础一维有哪些信誉好的足球投注网站方法优化设计概述线性规划 机械优化设计中的几个问题 1909 1912 1958 2004 20097326514目 录CONTENTS第四章 无约束优化方法 概述0102 最速下降法03 牛顿型方法 共轭方向与共轭方向法04 坐标轮换法0506 共轭梯度法07 变尺度法 鲍威尔方法08 单形替换法094.7 变尺度法（1） 问题提出1) 梯度法* 简单，开始时目标函数值下降较快，但越来越慢。2) 阻尼牛顿法* 目标函数值在最优点附近时收敛快，但要用到二阶导数和矩阵求逆。能否克服各自的缺点，综合发挥其优点？变尺度法也称拟牛顿法，它是基于牛顿法的思想而又作了重大改进的一类方法。我们所介绍的变尺度法是由 Davidon 于1959年提出又经 Fletcher 和 Powell 加以发展和完善的一种变尺度法，故称为DFP变尺度法。4.7 变尺度法（2） 基本思想梯度法:牛顿法: 变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降到最低限度。 这种算法仅用到梯度，不必计算海赛阵及其逆矩阵，但又能使有哪些信誉好的足球投注网站方向逐渐逼近牛顿方向，具有较快的收敛速度。 尺度变换技巧能显著地改进几乎所有极小化方法的收敛性质。例如在用最速下降法求 极小值时 ,需要进行10次迭代才能达到极小点。4.7 变尺度法（2） 基本思想对于二次函数:进行尺度变换目的：减少二次项的偏心在新的坐标系中，函数f(x)的二次项变为：如G是正定，则总存在矩阵Q，使得：4.7 变尺度法（2） 基本思想 用矩阵Q-1右乘等式两边，得：用矩阵Q左乘等式两边，得：所以上式说明：二次函数矩阵G的逆阵，可以通过尺度变换矩阵 来求得。4.7 变尺度法（3） 迭代公式 (1) Ak为构造的 n? n 阶对称矩阵，它随迭代点的位置变化而变化，对梯度起到改变尺度的作用，又称为变尺度矩阵。 若Ak =I，上式为梯度法的迭代公式 若Ak = Hk-1 ，上式为阻尼牛顿法的迭代公式(2) 当矩阵Ak 不断地迭代而能很好地逼近 时，就可以不再需要计算二阶导数。(3) 变尺度法的有哪些信誉好的足球投注网站方向 :S(k) = - Ak gk ，称为拟牛顿方向。变尺度法的关键在于尺度矩阵Ak的产生 。4.7 变尺度法（4） 变尺度矩阵的产生 拟牛顿方向 S(k) = - Ak gk 必须具有下降性、收敛性和计算的简便性。下降性—要求变尺度矩阵为对阵正定矩阵；收敛性—要求变尺度矩阵逐渐逼近Hk-1，满足拟牛顿条件；简便性—希望变尺度矩阵有如下递推形式：Ak+1 = Ak +△Ak4.7 变尺度法（4） 变尺度矩阵的产生下降性：要求S(k)与-gk之间的夹角小于90o，即： -[S(k)]T gk0将拟牛顿方向带入上式，得： -[S(k)]T gk = [Ak gk]Tgk = [gk]TAk gk 0所以只要 Ak 为对阵正定矩阵，S(k) 就是下降方向。4.7 变尺度法（4） 变尺度矩阵的产生简便性：变尺度矩阵是随迭代过程的推进而逐次改变的，因而它是一种矩阵序列{ Ak }，k=1，2，……选取初始矩阵A0，并以梯度方向快速收敛，通常取单位矩阵E 作为初始矩阵，即A0=E。而后的矩阵均是在前一构造矩阵的基础上校正得到，令A1=A0+△A0矩阵序列的基本迭代式推广到一般的k+1次构造矩阵Ak+1=Ak+△Ak△ Ak 称为校正矩阵4.7 变尺度法（5） 拟牛顿条件构造矩阵Ak+1应该满足一个重要条件—拟牛顿条件变尺度法采用构造矩阵来代替牛顿法中海赛矩阵的逆阵，主要目的之一就是为了避免计算二阶偏导数和逆矩阵，力图仅用梯度和其他一些易于获得的信息来确定迭代方向，因此，拟牛顿条件是关于海赛矩阵和梯度之间的关系。4.7 变尺度法（5） 拟牛顿条件设F(x) 为一般形式 n 阶的目标函数，并具有连续的一、二阶偏导。在点 x(k) 处的二次泰勒近似展开该近似二次函数的梯度为：式中，若令 ，则有4.7 变尺度法（5） 拟牛顿条件上式中，x(k+1) –x(k) 称之为位移矢量，并简化书写: 而gk+1 - gk 是前后迭代点的梯度矢量差，简化书写：由以上三式得 ：海赛矩阵与梯度间的关系式4.7 变尺度法（5） 拟牛顿条件按照变尺度法产生构造矩阵的递推思想，期望能够借助前一次迭代的某些结果来计算下一个构造矩阵，因此可以根据上式，用第 k+1