工程最优化.ppt

§5.2.3 Marquart法 最速下降法的优点是对初始点要求不高，稳定性好；远离最优点时收敛 较快。 缺点是离最优点较近时收敛很慢。 牛顿法的优缺点刚好与最速下降法相反。 1963年Marquardt提出将最速下降法与Newton法结合，开始用最速下降法， 在接近最优点时用Newton法。 在迭代公式x(k+1) = x(k) +tk p(k)中，取步长tk＝1 ，有哪些信誉好的足球投注网站方向为 p(k) ＝－[ ?2f (x(k)) +?kI ]－1?f (x(k)) 其中 ?k同时起控制有哪些信誉好的足球投注网站方向和步长的作用，I为单位矩阵 (1) 开始阶段取很大，如?0=104 ， p(0) ＝－[?2f (x(0)) +?0I]－1?f (x(0)) ?－ ?f (x(0)) 1 ?0 (2) 在迭代过程中，让?k?0， p(k) ?－?2f (x(k))－1?f (x(k)) （一）方法思想 最速下降法 Newton法 具体在每一步是否缩小 ?k，要通过检验目标函数值来决定 ： 若f(x(k+1)) f(x(k))，取?k+1 ?k ; 否则，取?k=??k, ?1，重作第k步迭代。 （二）算法 开始 给定x(0) , M，? , 令 k=0， ?0=104 x*=x(k) 是 结束 p(k) =－ [?2f (x(k)) +?kI]－1?f (x(k)) 否 否 kM 是 计算 ?f( x(k ) ) || ?f( x(k ) ) || ? x(k+1) = x(k) +p(k) f(x(k+1)) f(x(k)) ?k+1= 0.5?k , k=k+1 是 否 ?k= 2?k （三）评注 PP124 I 可推广为半正定矩阵 若[?2f (x(k)) +?kI]－1 不存在 x(k+1) = x(k) + tkp(k) §5.2.4 非线性最小二乘问题 （一）最小二乘问题 在工程实际问题中，经常遇到一类特殊的求极小值问题，其目标函数具有平方和形式： 例5.2.3 求解方程组fi(x)=0，（i=1,2,…, m)的问题可化为求解下列优化问题 例5.2.4 通过m组实验数据来建立物理量y与另外l个物理量t1, t2 ,…, tl 之间的函数关系： y = Y(t1, t2 , …, tl ; x1, x2, …, xn) “接近”的衡量标准常用平方和的形式 即要确定其中n个待定参数x1,x2,…,xn ，使得经验公式的计算值 与实验值 尽可能地接近。 求解min F(x) 为求解方便，引入向量函数 f(x)=[f1(x),f2(x),…,fm(x)]T 最小二乘问题化为： min F(x) = min f(x)Tf(x) = min ||f(x)||2 （二）最小二乘问题的求解 可直接用前面介绍的单纯形法、Powell共轭方向法、最速下降法、Newton法、 Marquart法求解 最小二乘法 （Gauss-Newton法） ！ 如用Newton法求解，则要求F(x)的Hesse矩阵，是否可以不求H(x) ？ 由于最小二乘问题目标函数形式的特殊性，可用计算一阶导数来代替二阶导数的计算 ： ?F(x(k))=2J(x(k))Tf(x(k)) Newton方向： p(k) =－?2F(x(k))－1?F(x(k)) Jacobi 矩阵 J(x)=[Jij(x)]m×n Jij(x) = ?2F(x(k)) ? 2J(x(k))TJ(x(k)) 迭代公式：x(k+1) = x(k) －[J(x(k))TJ(x(k))]－1 J(x(k))Tf(x(k)) x(k+1) = x(k) － [J(x(k))TJ(x(k))]－1 J(x(k))Tf(x(k)) 修正Gauss-Newton迭代公式 tk ? ! 如果在某次迭代中J(x(k))TJ(x(k))变成奇异的，则Gauss-Newton法失效 ! 此时可直接取负梯度方向－J(x(k))Tf(x(k)) 为有哪些信誉好的足球投注网站方向 修正Gauss-Newton法的算法: P127 §5.2.5 共轭梯度法 由Powell共轭方向法可知，共轭方向是好方向，是否有比Powell共轭方向 法更简单的方法构建共轭方向？ （一）Fletcher－Reeves共轭梯度法的基本思想 任取初始点x(0) ，然后沿着逐次迭代产生的共轭方向p(k)进行一维有哪些信誉好的足球投注网站： x(k+1) = x(k) + tk p(k) 得到下一个迭代点。 当f(x)为二次函数时，至多经过n次迭代就可得到极小点 构造共轭方向p(0),…,p(n-1)的方法： p(0) = －?f(x(0))