第6章梯度法为基础的数值求解.ppt

梯度法为基础的数值求解 内容提要 最优梯度法 共轭梯度法 牛顿法及阻尼牛顿法 变尺度法 1.最优梯度法 目标函数的负梯度方向作为每一步迭代的有哪些信誉好的足球投注网站方向，每一步都取负梯度方向的最优步长。（柯西提出） 1.最优梯度法 最优梯度法的迭代公式 1.最优梯度法 迭代过程 1.最优梯度法 收敛准则 梯度准则：梯度的模达到充分小 点距准则：相邻两迭代点之间的距离达到充分小 函数下降量准则：相邻两迭代点的函数值下降量达到充分小 1.最优梯度法 优缺点分析 最速下降方向是局部性质而非全局性质 开始步长大，越接近极小点，步长越小。所以在开始范围能较快接近最优点，适合解决问题的开始阶段，作为收局结尾是不利的（一般是锯齿状的收敛方向） 2.共轭梯度法 对负梯度方向进行修正（FletcherReeves） 2.共轭梯度法 共轭方向的构成 迭代公式 条件： 与 关于 互为共轭，即 近似的取 为 2.共轭梯度法 迭代过程 3.牛顿法及阻尼牛顿法 （1）牛顿法又叫二阶梯度法，不仅考虑了目标函数的梯度，而且考虑了目标函数的二阶导数（即梯度的变化方向），能更快的有哪些信誉好的足球投注网站出最优点。 其迭代公式如下： 3.牛顿法及阻尼牛顿法 迭代过程 3.牛顿法及阻尼牛顿法 （2）阻尼牛顿法解决了牛顿法的计算繁琐问题，构造一个矩阵代替牛顿法中的赫森矩阵。因迭代过程中使用最优步长，故能保障每步函数值都有所下降，即使初始点选取不当，也能有哪些信誉好的足球投注网站成功。 其迭代公式如下： 3.牛顿法及阻尼牛顿法 A）当 时，则为最优梯度公式： 4.变尺度法 变尺度法是结合最优梯度法和牛顿法的优点一种综合算法，也称为拟牛顿法。 这种方法用一个对称矩阵 去逼近 ，得到的有哪些信誉好的足球投注网站方向为： 其迭代公式为： 迭代过程 4.变尺度法 算法特点 以逐次逼近的算法实现对 的计算 当目标函数可以用二次函数近似时，其方向矩阵 可以很快收敛 应用于二次函数时，变尺度法与共轭梯度法一样具有二次终结性质，计算具有稳定性。 谢 谢！ * * 无约束非线性问题的数值求解，应用于连续可导的目标函数。以梯度法为基础，要计算目标函数的一阶和二阶偏导数。 n维非线性函数f(X)的梯度定义如下： 其中单位向量和最优步长分别是： 每一步迭代均利用上一步的 的负梯度方向 与上一步有哪些信誉好的足球投注网站方向的向量 进行线性组合，构成一个与 方向互相共轭的方向 然后再沿 方向做唯一寻优 对于正定的二次函数， ，最多经过n次迭代就能得到最优点 优缺点分析 收敛速度很快 用到了赫森矩阵，考虑了等值线曲率的意义 在极值点附近可以一步到达 计算繁琐 有可能是发散的 B）当 时，则为牛顿法迭代公式：