无约束优化方法.ppt

********************************************************************************************************第四章无约束优化方法第五节共轭梯度法，共轭梯度法：先沿最速下降方向(负梯度方向)探索第一步，然后沿与该负梯度方向相共轭的方向进行探索。第30页,共57页，星期六，2024年，5月第四章无约束优化方法第五节共轭梯度法，共轭方向与梯度之间的关系：它表示沿着方向dk做一维有哪些信誉好的足球投注网站，它的终点xk+1与始点xk的梯度之差与dk的共轭方向dj正交。第31页,共57页，星期六，2024年，5月第四章无约束优化方法第五节共轭梯度法，共轭梯度法递推公式：第32页,共57页，星期六，2024年，5月第四章无约束优化方法第五节共轭梯度法，共轭梯度法步骤：第33页,共57页，星期六，2024年，5月第四章无约束优化方法第五节共轭梯度法，共轭梯度法步骤：第34页,共57页，星期六，2024年，5月第四章无约束优化方法第五节共轭梯度法，共轭梯度法第35页,共57页，星期六，2024年，5月设法构造出一个对称正定矩阵来代替，并在迭代过程中使逐渐逼近,那么就简化了牛顿法的计算，并且保持了牛顿法收敛快的优点。第四章无约束优化方法第六节变尺度法（拟牛顿法），变尺度法的基本思想：牛顿方向：变尺度法的迭代公式：尺度矩阵第36页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），尺度矩阵G正定牛顿迭代公式：目的：目标函数的偏心率减小到零。第37页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），变尺度矩阵的建立：变尺度法的迭代公式：有哪些信誉好的足球投注网站方向：尺度矩阵应具备的条件：1）为正定对称矩阵；2）具有简单的迭代形式:3）满足拟牛顿条件：令则第38页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），变尺度法的一般步骤：第39页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），变尺度法的流程图：第40页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），DFP算法：DFP算法的校正公式第41页,共57页，星期六，2024年，5月第四章无约束优化方法第六节变尺度法（拟牛顿法），DFP算法：第42页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，基本思想：每次仅对多元函数的一个变量沿其坐标轴进行一维探索，其余各变量均固定不动，并依次轮换进行一维探索的坐标轴，完成第一轮探索后再重新进行第二轮探索，直到找到目标函数在全域上的最小点为止。目的：将一个多维的无约束最优化问题，转化为一系列的一维问题来求解。第43页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，二维问题第44页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，第k轮迭代公式：包括正负第45页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，步长α的几种取法：随机选择方法加速步长法最优步长法（一维有哪些信誉好的足球投注网站方法，如：黄金分割法、二次插值法，来确定最优步长）第46页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，加速步长法：第47页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，坐标轮换法的流程图第48页,共57页，星期六，2024年，5月第四章无约束优化方法第七节坐标轮换法，坐标轮换法的特点：计算简单、概念清楚、易于掌握；但有哪些信誉好的足球投注网站路线较长（需要经过多次曲折迂回的路径才能达到极值点），计算率较低，特别是当维数很高时很费时，所以坐标轮换法只能用于低维（n10）的优化问题求解。此外，坐标轮换法的效率在很大程度上取决