最优化方法第三章.ppt

3.3Newton法如果目标函数在上具有连续的二阶偏导数，其Hesse矩阵正定且可以表达成显式（今后记），那么使用Newton法求解（3.1）会很快地得到极小点。1.基本思想考虑从到的迭代过程。在点处，对按Taylor级数展开到第三项，即（3.29）因为正定，所以是正定二次函数。令得（3.30）第31页,共38页，星期六，2024年，5月由此解出的极小点，记为，即（3.31）是极小点的新的近似点。（3.31）称为Newton迭代公式，由该公式产生的算法称为Newton法。注意到，当目标函数是正定二次函数（3.36）时，。这说明：对于正定二次函数，Newton法一次迭代就会得到最优解。（3.31）有直观的几何解释。函数过点的等值面方程为（3.32）在点处，用一个与曲面（3.32）最密切的二次曲面来代替它，这个二次曲面的方程即是第32页,共38页，星期六，2024年，5月当正定时，它是一个超椭球面，的极小点正是这个超椭球面的中心。我们就用作为极小点的新的近似点。下图画出了二维情况时的几何解释。例3.2P1542.算法算法3.5（Newton法）P155第33页,共38页，星期六，2024年，5月第34页,共38页，星期六，2024年，5月3.修正Newton法Newton法的优点是收敛速度快、程序简单。特别是前一个优点，在最优化方法中尤为突出。但计算实践指出，Newton算法在运行时经常失败。下面将找出失败的原因，并给出解决办法。以下讨论仅假定Hesse矩阵可以求到。ⅰ）在迭代点处Hesse矩阵变为奇异，由线性方程组（3.33）解不出。遇有此种情况，改取，然后作直线有哪些信誉好的足球投注网站（3.34）即用最速下降法的迭代公式代替Newton法的迭代公式，从而完成这一次迭代。第35页,共38页，星期六，2024年，5月ⅱ）Hesse矩阵非奇异，即存在。这时可由（3.33）解出（称为Newton方向）。按Newton迭代公式，有（3.35）（3.35）可以理解为从点出发沿方向进行直线有哪些信誉好的足球投注网站，步长因子取为1。考虑到目标函数可能很复杂，因而不能总保证方向是下降方向，有时即使是下降方向，也会由于步长的因子不加选择地取为1，而不能保证。对此，分以下两种情况处理。?若，则（3.35）的迭代有效。?若，则又分以下两种情况处理。第36页,共38页，星期六，2024年，5月第一，当（是某一很小的正数）时，说明与几乎垂直，故Newton方向是不利方向。这时，改取，然后按（3.34）再重新进行直线有哪些信誉好的足球投注网站。第二，当时，说明Newton方向是下降方向，这时按（3.34）重新进行直线有哪些信誉好的足球投注网站；否则，当时（说明Newton为方向是上升方向）,改取Newton方向的反方向有哪些信誉好的足球投注网站方向，然后按（3.34）再重新进行直线有哪些信誉好的足球投注网站。修正Newton法的算法流程图见书上图3-13。第37页,共38页，星期六，2024年，5月第38页,共38页，星期六，2024年，5月**3.1直线有哪些信誉好的足球投注网站直线有哪些信誉好的足球投注网站（一维有哪些信誉好的足球投注网站）是指求解如下一元函数极小化问题（3.3）的迭代方法，其中。在微积分中，解决问题（3.3）的范围一般限于方程（3.4）可以直接解出的情况。而这里介绍的直线有哪些信誉好的足球投注网站对严格的要求。当然，对于可以求出导数的情况，相应的求解方法一般也会简单些。不作直线有哪些信誉好的足球投注网站，理论上，分为精确的和不精确的。精确的直线有哪些信誉好的足球投注网站方法主要分为两类：一类为区间收缩法，另一类为函数逼近法。本节将相应地介绍两种常用的精确的直线有哪些信誉好的足球投注网站方法：适用于一般函数的黄金分割法和适用于一般连续函数的抛物线插值法。最后还将介绍实用的不精确一维有哪些信誉好的足球投注网站技术。第2页,共38页，星期六，2024年，5月精确的直线有哪些信誉好的足球投注网站算法的实现通常是在所谓的有哪些信誉好的足球投注网站区间上进行的1.有哪些信誉好的足球投注网站区间的确定在以下讨论中，总假定一元函数是单谷函数。定义3.1设，是在L上的全局极小点。如果对于L上任意的两点，当时，；当时，，那么称是区间L上的单谷函数。下图给出了单谷函数的基本图形。第3页,共38页，星期六，2024年，5月定义3.2设,是在L上的全局极小点。如果能够找到，使得那么闭区间就称为极小点的一个有哪些信誉好的足球投注网站区间，记为。有哪些信誉好的足球投注网站区间有时也记作，其中显然，单谷函数的定义域区间是有哪些信誉好的足球投注网站区间。单谷函数的性质。定理3.1设是单谷函数