最速下降法steepestdescendmethod.ppt

?　几个概念 1。梯度： f(x)是定义在Rn上的可微函数，称以f(x)的n个偏导数为分量的向量，为f(x)的梯度，记作▽ f(x) 即　　 3。梯度▽ f(x)的模： 一、最速下降法 (method of steepest descent) 2. 收敛准则： 4. 方法特点 （1）?初始点可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。 （2）?任意相邻两点的有哪些信誉好的足球投注网站方向是正交的，它的迭代路径为绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。 复习 精确有哪些信誉好的足球投注网站 试探法（平分法、0.618法） 函数逼近法（牛顿法） 最速下降法 思考 共轭梯度法与最速下降法主要区别和联系有什么？ * 3.3 　最速下降法和共轭梯度法 　　　　　　　　　－－多变量函数寻优法 关于无约束极小问题普遍使用下降迭代算法, 每一类下降选代算法中包含两个关键步骤： 得到一个迭代点x(k)后， （1） 如何选择有哪些信誉好的足球投注网站方向d(k)？ （2）在确定有哪些信誉好的足球投注网站方向上，用什么方法进行一维有哪些信誉好的足球投注网站? 2。梯度向量： 称 为f(x) 在x0处的梯度向量。 ?　几个梯度公式 1。f(x)＝C（常数），则▽f(x)＝0。 2。 f(x)=bTx，则　 ▽f(x)＝b； 3。 ▽ (xTx)＝2x； 4。若A是实对称方阵，则有▽ (xTAx)＝2Ax； 　 1. 基本思想： 任一点的负梯度方向是函数值在该点下降最快的方向。 　　将n维问题转化为一系列沿负梯度方向用一维有哪些信誉好的足球投注网站方法寻优的问题， 　　利用负梯度作为有哪些信誉好的足球投注网站方向，故称最速下降法或梯度法。 3.　具体步骤　 　对于解二次函数最小值问题时，由于最速下降法中，当迭代点接近极小点时，步长变得很小，越走越慢。所以把此法改进为共轭梯度法。 二、共轭梯度法 (Conjugate Grads Means) 1. 研究目标函数类型：二次函数的无约束极小问题 说明：对可变量分离函数 f(x) = f1(x1) +f2(x2) +…+fn(xn) 的无约束极小问题， 则从任意一点 x(1) 出发，分别沿每个坐标轴方向进行一维有哪些信誉好的足球投注网站，进行一遍(共进行n次线有哪些信誉好的足球投注网站)以后，一定就能得到的 f(x) 的最优解． 2. 基本思想： 把形为 (3.16)二次函数（其中Q为实对称正定矩阵）作基变换，使 f(x) 变成为变量分离的形式。那么任一点的负梯度方向是函数值在该点下降最快的方向。　　 f(x) = f1(x1) +f2(x2) +…+fn(xn) 选基{p1, p2,… pn,} 使piTQpj =0, (i?j) 定义 设Q为n阶实对称正定矩阵，若n 维方向x 和y 满足 xTQy = 0，则称方向 x 和 y 是Q—共轭的。 定理 在每个迭代点 x(k) 处，以负梯度－?f(x(k))和前一有哪些信誉好的足球投注网站方向 pk－1组合，即可构成与前k－1个有哪些信誉好的足球投注网站方向p1，p2 …， pk－1均两两Q－共轭的有哪些信誉好的足球投注网站方向pk。 4. 基本步骤： 求解 （与最速下降法同） 3. 共轭Q－方向的推导：略（见教材P50） 5. 一般二阶可微函数共轭梯度法的改进： 说明： 若问题含变量较多，则用共轭梯度的改进法； 若问题含变量不多，则用共轭梯度法。