最速下降法完整版本.pptVIP

第一节、最速下降法其中函数f(x)具有一阶连续偏导数。定义对于上述问题，设，若存在,使得对一切，且，都有，则称X*是f(X)在上的局部极小值点（局部最优解）．特别地当时，若，则称X*是f(X)在D上的严格局部极小值点（严格局部最优解）．

考虑：从任意一个点出发，找一个方向，沿着该方向得到另一个点，使得目标函数值下降，直至得到最优解。1、沿着什么方向目标函数值会下降？需要解决：2、沿着选定的方向前进多少最合适？负梯度方向下降最快选一个合适的步长3、最优解的刻画

算法理论基础给定一个解，如果是局部最优解，则有

从这个定理，得到极值点的必要条件。（即，局部最优解必定具有的性质）.反之，命题不成立，即梯度为零的点不一定是极值点。梯度为零的点称为稳定点（单变量函数—驻点）。

二阶必要条件：

充分条件如下（即局部最优解的刻画，当满足什么条件，所得的解就是局部最优解）

由这个定理，得到迭代终止的准则，即梯度为0。

算法迭代步骤(求出的是极小值点)1.给定初始点x0,置k:=0.2.计算xk点的梯度，若梯度小于等于事先给定的非常小的正数,则终止，否则，下一步。

解：求负梯度方向以及最佳步长。

第二节算法分析最速下降法中，当一维有哪些信誉好的足球投注网站精确时，相邻两次有哪些信誉好的足球投注网站方向正交。收敛：序列或者它的子列（仍记为）满足局部收敛，全局收敛

按照算法收敛速度来区分，使用下降方向迭代可分为三类：线性收敛（主要是梯度方法）、二阶收敛（主要是牛顿方法）以及超线性收敛（主要是变尺度法以及共轭方向法）。超线性收敛

二次终结性：当f(x)为正定二次函数时，从任意初始点可一步迭代达到最优解。

关于收敛速度最速下降法计算量不大且收敛,但是收敛速度慢,尤其是迭代点接近最优点时,并且每次迭代行进的距离越来越短.全局收敛，线性收敛，易产生扭摆现象而造成早停。