最优化：最速下降法和Newton法.pptx

唯楚有材於斯为盛最优化主讲：刘陶文学好最优化，走遍天下都不怕课件制作：刘陶文最优化：最速下降法和Newton法全文共34页，当前为第1页。第三章无约束问题算法(I)——最速下降法、Newton法第一节最速下降法第二节Newton法及其修正形式最优化：最速下降法和Newton法全文共34页，当前为第2页。最优化：最速下降法和Newton法全文共34页，当前为第3页。●等值线(面)●●第一节最速下降法最古老的优化方法，十九世纪中叶由Cauchy提出1、思想：每次沿负梯度方向进行有哪些信誉好的足球投注网站最优化：最速下降法和Newton法全文共34页，当前为第4页。负梯度方向也称为最速下降方向：以负梯度为有哪些信誉好的足球投注网站方向的算法称为最速下降法最优化：最速下降法和Newton法全文共34页，当前为第5页。2、算法步骤最优化算法看来是如此的简单？最优化：最速下降法和Newton法全文共34页，当前为第6页。最优化：最速下降法和Newton法全文共34页，当前为第7页。事实上，上面的例子刻画了最速下降法的所有收敛特征最优化：最速下降法和Newton法全文共34页，当前为第8页。3、最速下降法的收敛性全局收敛性最优化：最速下降法和Newton法全文共34页，当前为第9页。收敛速度估计最优化：最速下降法和Newton法全文共34页，当前为第10页。最优化：最速下降法和Newton法全文共34页，当前为第11页。从上图可以看出，最速下降法具有锯齿现象最优化：最速下降法和Newton法全文共34页，当前为第12页。对一般的非二次函数有下面的收敛速度估计：定理的证明参见文献[19,定理3.4]最优化：最速下降法和Newton法全文共34页，当前为第13页。由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.有点难啊思考题：最优化：最速下降法和Newton法全文共34页，当前为第14页。最优化：最速下降法和Newton法全文共34页，当前为第15页。最优化：最速下降法和Newton法全文共34页，当前为第16页。●●第二节Newton法及其修正形式1、思想：用近似二次函数的极小点作为原问题的新的近似解几何解释：最优化：最速下降法和Newton法全文共34页，当前为第17页。最优化：最速下降法和Newton法全文共34页，当前为第18页。最优化：最速下降法和Newton法全文共34页，当前为第19页。2、Newton法的算法步骤最优化：最速下降法和Newton法全文共34页，当前为第20页。最优化：最速下降法和Newton法全文共34页，当前为第21页。对不同的两个初始点，经一次迭代求出最优解，这是偶然还是必然的呢？最优化：最速下降法和Newton法全文共34页，当前为第22页。最优化：最速下降法和Newton法全文共34页，当前为第23页。下面我们来看看最速下降法与Newton法求解二次函数的比较最优化：最速下降法和Newton法全文共34页，当前为第24页。●●等值线●最优化：最速下降法和Newton法全文共34页，当前为第25页。3、Newton的收敛性最优化：最速下降法和Newton法全文共34页，当前为第26页。4、局部二次收敛性最优化：最速下降法和Newton法全文共34页，当前为第27页。(1)收敛性略，参见前面的牛顿法的收敛性(2)收敛速度最优化：最速下降法和Newton法全文共34页，当前为第28页。最优化：最速下降法和Newton法全文共34页，当前为第29页。最优化：最速下降法和Newton法全文共34页，当前为第30页。5、Newton法的修正形式：如何有效计算下降方向最优化：最速下降法和Newton法全文共34页，当前为第31页。最优化：最速下降法和Newton法全文共34页，当前为第32页。该算法有较好的稳定性及较快的收敛速度最优化：最速下降法和Newton法全文共34页，当前为第33页。上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性.还有很多其他的修正形式注意：Newton法的优点：收敛快；缺点：对初始点要求很高，而且计算量大从Newton法出发进行修改，利用其优点，克服其缺点，产生很多效果非常好的其他新算法最优化：最速下降法和Newton法全文共34页，当前为第34页。