3.3牛顿法及阻尼牛顿法.ppt

3.3 牛顿法及阻尼牛顿法 浙江工业大学 化学工程与材料学院 牛顿法的基本思想 为了寻找收敛速度快的无约束最优化方法，考虑在每次迭代时，用适当的二次函数去近似目标函数f，并用迭代点指向近似二次函数极小点的方向来构造有哪些信誉好的足球投注网站方向，然后精确地求出近似二次函数的极小点，以该极小点作为f的极小点近似值。 假设目标函数f具有二阶连续偏导数，即 此时，可以利用Taylor展开式作f在点 处的近似函数： * 例： 对于正定二次函数，牛顿法的有哪些信誉好的足球投注网站方向就是指向其极小点的方向．因此用牛顿法解正定二次函数的无约束最优化问题，只需一次迭代就可得最优解． 在初始点离最优解不远的条件下，牛顿法是二次收敛的．但是当初始点选得离最优解太远时，牛顿法并不一定是收敛的方法，甚至连其下降性也很难保证． 当Hesse矩阵不存在逆矩阵时，牛顿法的有哪些信誉好的足球投注网站将会失败． 牛顿法构造困难，计算相当复杂，除了求梯度以外还需计算Hesse矩阵及其逆矩阵，占用机器内存相当大． 牛顿法的特点 为了克服牛顿法的缺点，保留选牛顿方向作为有哪些信誉好的足球投注网站方向，摒弃其步长恒取1，而用一维有哪些信誉好的足球投注网站确定最优步长 阻尼牛顿法 迭代公式是 其中 为牛顿方向, 是由一维有哪些信誉好的足球投注网站得到的步长，即满足 由于阻尼牛顿法含有一维有哪些信誉好的足球投注网站，因此每次迭代目标函数值一般有所下降(决不会上升)，阻尼牛顿法具有全局收敛性，且为2级收敛。 *