最优化方法第三.ppt

由此解出的极小点，记为，即（3.31）是极小点的新的近似点。（3.31）称为Newton迭代公式，由该公式产生的算法称为Newton法。注意到，当目标函数是正定二次函数（3.36）时，。这说明：对于正定二次函数，Newton法一次迭代就会得到最优解。（3.31）有直观的几何解释。函数过点的等值面方程为（3.32）在点处，用一个与曲面（3.32）最密切的二次曲面来代替它，这个二次曲面的方程即是第31页,共34页，星期六，2024年，5月当正定时，它是一个超椭球面，的极小点正是这个超椭球面的中心。我们就用作为极小点的新的近似点。下图画出了二维情况时的几何解释。例3.2P1542.算法算法3.5（Newton法）P155第32页,共34页，星期六，2024年，5月第33页,共34页，星期六，2024年，5月3.修正Newton法Newton法的优点是收敛速度快、程序简单。特别是前一个优点，在最优化方法中尤为突出。但计算实践指出，Newton算法在运行时经常失败。下面将找出失败的原因，并给出解决办法。以下讨论仅假定Hesse矩阵可以求到。ⅰ）在迭代点处Hesse矩阵变为奇异，由线性方程组（3.33）解不出。遇有此种情况，改取，然后作直线有哪些信誉好的足球投注网站（3.34）即用最速下降法的迭代公式代替Newton法的迭代公式，从而完成这一次迭代。第34页,共34页，星期六，2024年，5月**精确的直线有哪些信誉好的足球投注网站算法的实现通常是在所谓的有哪些信誉好的足球投注网站区间上进行的1.有哪些信誉好的足球投注网站区间的确定在以下讨论中，总假定一元函数是单谷函数。定义3.1设，是在L上的全局极小点。如果对于L上任意的两点，当时，；当时，，那么称是区间L上的单谷函数。下图给出了单谷函数的基本图形。第2页,共34页，星期六，2024年，5月定义3.2设,是在L上的全局极小点。如果能够找到，使得那么闭区间就称为极小点的一个有哪些信誉好的足球投注网站区间，记为。有哪些信誉好的足球投注网站区间有时也记作，其中显然，单谷函数的定义域区间是有哪些信誉好的足球投注网站区间。单谷函数的性质。定理3.1设是单谷函数极小点的一个有哪些信誉好的足球投注网站区间。在内任取两点，若，则是极小点的一个有哪些信誉好的足球投注网站区间；若，则是极小点的一个有哪些信誉好的足球投注网站区间。直线有哪些信誉好的足球投注网站算法的第一步一般得先确定的一个（初始）有哪些信誉好的足球投注网站区间。根据定理3.1，可以给出确定有哪些信誉好的足球投注网站区间的如下算法。第3页,共34页，星期六，2024年，5月算法3.1（确定有哪些信誉好的足球投注网站区间）已知：目标函数。选定初始点和步长。②计算，，。③若，则置，，，，，。，转⑤；否则转④。④置⑤计算，。若，则转⑥；否则转④。⑥置，（即为有哪些信誉好的足球投注网站区间），计算结束。上述过程开始时，必须选定初试点和步长。对于任意给定的，一般来说，无固定选取模式。第4页,共34页，星期六，2024年，5月但对于在下降算法模式中所引入的而言，可选取等于0（理论上）或接近0（实际计算中）。而对于，如果选得过小，那么需要迭代许多次才能找到一个有哪些信誉好的足球投注网站区间；如果选得太大，虽然很少几步就可能把极小点包括进来，但是这又会给下一步有哪些信誉好的足球投注网站极小点的过程增加负担。下面是确定的一种比较合理而有效的方法。第5页,共34页，星期六，2024年，5月第一次迭代（，即从到的迭代）时，的初始步长可取为1，或根据问题中出现的数据的数量级估计选定。而以后各次迭代的初始步长可按公式（3.5）计算，（3.5）其中。这是因为从到的距离一般比从到的距离小或接近，所以把按（3.5）算出的作为下一次迭代的初始步长是合适的。在实际计算中，当较小时，相应的可取得小些，而随着的增大，相应的可取得接近1。第6页,共34页，星期六，2024年，5月第7页,共34页，星期六，2024年，5月2.直线有哪些信誉好的足球投注网站的方法（1）黄金分割法黄金分割法属于区间收缩法。它适用于任何单谷函数求极小值问题。对函数除“单谷”外，不作其它要求，甚至可以不连续。因此这种方法的适用面相当广。黄金分割法的思想是：在每次迭代中，合理地设置两个插入点的位置，以使得在计算函数值次数同样多的条件下，将区间缩小得最快。设区间的长为1。在距点分别为和