无约束最优化方法.ppt

共轭梯度法记：左乘并使得：（Hestenes-Stiefel公式）取：第42页,共69页，星期六，2024年，5月共轭梯度法基本性质定理3:对于正定二次函数，采用精确线有哪些信誉好的足球投注网站的共轭梯度法在步后终止，且对成立下列关系式：（共轭性）（正交性）（下降条件）第43页,共69页，星期六，2024年，5月系数的其他形式（１）FR公式（1964）（2）PRP公式（1969）第44页,共69页，星期六，2024年，5月FR共轭梯度法算法Step1:给出Step2:计算如果停．Step3:Step4:由精确线有哪些信誉好的足球投注网站求Step5:转Step2.第45页,共69页，星期六，2024年，5月例4：用FR共轭梯度法求解：解：化成形式(1)第46页,共69页，星期六，2024年，5月(2)第47页,共69页，星期六，2024年，5月第48页,共69页，星期六，2024年，5月例5：用FR共轭梯度法求解：解：化成形式(1)第49页,共69页，星期六，2024年，5月(2)第50页,共69页，星期六，2024年，5月FR共轭梯度法收敛定理定理4:假定在有界水平集上连续可微，且有下界，那么采用精确线有哪些信誉好的足球投注网站下的FR共轭梯度法产生的点列至少有一个聚点是驻点，即：(1)当是有穷点列时，其最后一个点是的驻点．(2)当是无穷点列时，它必有聚点，且任一聚点都是的驻点．第51页,共69页，星期六，2024年，5月再开始FR共轭梯度法算法Step1:给出Step2:计算如果停，Step4:否则Step3:由精确线有哪些信誉好的足球投注网站求并令：计算若令转Step2;如果停.第52页,共69页，星期六，2024年，5月Step5:若令转step2.Step6:计算Step7:如果令转step2,否则转step3.第53页,共69页，星期六，2024年，5月作业：FR共轭梯度法（上机）上机实现FR共轭梯度法．并求解Rosenbrock函数，初始点选线有哪些信誉好的足球投注网站分别采用黄金分割法与强Wolfe线有哪些信誉好的足球投注网站，并对比．第54页,共69页，星期六，2024年，5月§4.4拟牛顿法第55页,共69页，星期六，2024年，5月基本思想本质上是基于逼近牛顿法的方法．牛顿法每次都计算1959年,Davidon提出设想仅用每次迭代中得到的梯度信息来近似海色阵，基于此导致了一类非常成功的拟牛顿法．本节介绍Broyden族拟牛顿法：DFP算法和BFGS算法．第56页,共69页，星期六，2024年，5月算法原理最速下降法和阻尼牛顿法的迭代公式可统一为：思考：要使上面的算法比最速下降法快，比牛顿法计算简单，且整体收敛性好，关键在于构造矩阵列要求：的选取既能逐步逼近又无需计算二阶导数，且具备以下条件：第57页,共69页，星期六，2024年，5月C1：是对称正定阵．C2：由经简单修正而得：C3：满足下面的拟牛顿方程．（推导如下）设是二次连续可微的，第58页,共69页，星期六，2024年，5月令：则：令：因此：（对二次函数为等式）若非奇异：设想：（拟牛顿方程）这样就可很好的近似第59页,共69页，星期六，2024年，5月拟牛顿算法Step1:给出Step2:计算Step3:Step4:精确线有哪些信誉好的足球投注网站求Step5:Step6:计算若停；否则转Step7.Step7:校正使拟牛顿方程成立．Step8:转Step3.第60页,共69页，星期六，2024年，5月DFP校正公式是维待定向量．要求：所以：令：得：因此：所以：（DFP校正公式）第61页,共69页，星期六，2024年，5月例6：用DFP算法求解：取解：(1)第62页,共69页，星期六，2024年，5月(2)第63页,共69页，星期六，2024年，5月注:（１）DFP算法具有二次终止性．（２）有哪些信誉好的足球投注网站方向是共轭方向：第64页,共69页，星期六，2024年，5月DFP校正公式的正定继承性引理2:设为正定阵，且则：为正定阵的充要条件是定理5:在DFP算法中，如果正定，则整个矩阵列都正定．第65页,共69页，星期六，2024年，5月DFP算法的二次终止性推论:在上面定理条件下：（1）DFP算法至多经过次迭代就可得到极小点，即存在有：（2）若则第66页,共69页，星期六，2024年，5月BFGS校正公式(称为关于的BFGS校正公式或互补DF