无约束优化算法概要.ppt

无约束优化算法 最速下降法 沿负梯度方向方向导数最小,函数下降最快 算法：Step0 给定初始点x(0),精度ε0,k=0; Step1 计算梯度 Step2 若 结束，得近似解x(k) ； Step3 令 作一维有哪些信誉好的足球投注网站，即计算 Step4 令 转Step1 。 例 用最速下降法求问题min f (x)=2x12+x22的最优解(取初始点(1,1))。 解 x(0)=(1,1), g0=(4,2), d0=(-4,-2); x(1)=(-1/9,4/9),g1=(-4/9,8/9),d1=(4/9,-8/9); x(2)=(2/27,2/27),g2=(8/27,4/27),d2=-g2; x(3)=(-2/243,8/243),g3=(-8/243,16/243);… 结论：由最速下降法产生的点列必收敛到稳定点。 最速下降法开始下降还比较快，有哪些信誉好的足球投注网站方向呈直角锯齿状，收敛速度较慢。 共轭方向法 考虑二次函数f (x)=xTAx/2+bTx+c 其中A为对称正定阵。 从某点x(0)出发，沿方向d0有哪些信誉好的足球投注网站，得点x(1),如果希望下次的有哪些信誉好的足球投注网站方向d1指向x*,方向d1必须满足的条件为 d0TA d1=0 定义：设A为对称正定阵，若向量x,y满足xTAy=0,则x,y称关于A共轭。若向量组中任意两向量A共轭，则称向量组A共轭。 A共轭是正交概念的推广 定理1 若向量组A共轭，则必定线性无关。 定理2 对二次函数f (x)=xTAx/2+bTx+c，若非零向量组d0 ,d1 , …, dn-1关于A共轭。从任一点x(0)出发，依次沿这组方向进行有哪些信誉好的足球投注网站，则至多经过n步收敛。 共轭方向法(算法计算步骤) Step0 取一组A共轭的非零向量组d0 ,d1 , …, dn-1,初始点x(0),令k=0。 Step1 计算梯度gk=Ax(k)+b,若gk=0,结束； Step2 从x(k)出发，沿方向dk有哪些信誉好的足球投注网站，得x(k+1) ，令k=k+1,转Step1。 共轭梯度法 思想：构造方向时,利用梯度,找下降方向。 d0 =-g0= -(Ax(0)+b), d1 =-g1+a0d0,要求d1与d0关于A共轭。 在得到x(k+1)后，计算梯度gk+1= Ax(k+1)+b,令 可得 即 有哪些信誉好的足球投注网站步长 gk+1= Ax(k+1)+b 算法 Step0 任取一点x(0),令d0 =-g0,k=0; Step1 计算 Step2 计算gk+1= Ax(k+1)+b,若gk+1 =0，结束； Step3 计算 令k=k+1，转Step1 。 例 试用共轭梯度法，求下述二次函数的极小点(取初始点(-2,4))。 几种等价公式 Fletcher-Reeves公式 这几种公式对二次函数和精确的有哪些信誉好的足球投注网站是完全等价的,但公式中不含A,可用于非二次函数。对非二次函数一般n步重新开始。 拟Newton法 Newton法的思想：用二次Taylor展式近似目标函数，用其最小值点作为目标函数极小值点的近似。 其最小值点为 迭代公式 特点：局部二阶收敛，二次函数一步收敛 阻尼Newton法： dk称为Newton方向,通过有哪些信誉好的足球投注网站保证得极小点. 最速下降法和Newton法的有哪些信誉好的足球投注网站方向可统一表示为dk=—Hkgk, 最速下降法计算简单，但收敛慢, Newton法收敛快,但计算复杂. 希望构造Hk，避免大量计算，又能逼近H-1 构造Hk的几个原则： 1)是下降方向—Hk正定 2)修正计算简单—只需用最近的数据 3)拟Newton条件—x(k+1)-x(k)=Hk+1(gk+1-gk) 设想较简单的形式为 考虑到对称性要求,可选 拟Newton条件只需 可得 即 从而 称为DFP (Davidon Fletcher Powell)公式。 DFP算法 Step0 给定初始点x0,精度e0,令H0=I, k=0,计算梯度g0,若|| g0 ||e，结束； Step1 令dk=-Hkgk, 沿方向dk作一维有哪些信誉好的足球投注网站，得 x(k+1)=x(k)+λkdk； Step2 计算梯度gk+1,若|| gk+1 ||e，结束； Step3 令 计算 令k=k+1,转Step1. 对DFP法，有如下结果 1.若Hk正定，则Hk+1也正定； 2.对正定二次函数，算法至多n步收敛，且 Hn=A-1； 例 试用DFP法，求下述二