数值分析2-2.ppt

最速下降法算法 共轭梯度法 输入：x, A, b; 输出: x . r = b-Ax; while 不满足判停准则 x= x+ αr r = r –αAr % end * 例2.9：根据最速下降法的算法，写出求解线性方程组 Ax=b 的过程，其中： 共轭梯度法 * 解：首先判断矩阵A对称正定。 假设取初始解为 ，计算残差 迭代第一步，为计算 ，首先计算 则： 共轭梯度法 * 因此有 采用相似的步骤进行后续计算，可依次得到 * 共轭梯度法 k x(1) x(2) 1 0.08 -0.6133 2 1.0044 -2.0000 3 1.5221 -1.6549 4 1.7522 -2.0000 5 1.8811 -1.9141 6 1.9383 -2.0000 7 1.9704 -1.9786 8 1.9847 -2.0000 9 1.9926 -1.9947 10 1.9962 -2.0000 准确值： x= [2, -2]T 最速下降法的特点： 每个迭代步主要是做矩阵 A 和向量 r 的乘法 若A为稀疏矩阵，只需要遍历矩阵非零元，并且算法不改变原始矩阵A 迭代过程中，向量α 和 r 不断变化，因此前后两个迭代解之间不满足一种固定的递推公式（与经典迭代法不同） 由于多元二次函数 H(x)是凸函数，所以一定存在唯一的最小值点。即：当矩阵A对称正定时，最速下降法一定收敛 共轭梯度法 * 最速下降法的缺点： 负梯度方向虽然从局部来看是最佳的有哪些信誉好的足球投注网站方向，而且每步都在该方向上使 H(x) 达到最小，但并没有在全局上使H(x)最小化。 结果：收敛速度很慢 改进为共轭梯度法(-CG) 共轭梯度法(Conjugate Gradient) 算法原理：给定初始向量 x0，第一步仍选负梯度方向为有哪些信誉好的足球投注网站方向，即 ，于是有 * 将该平面记为： 共轭梯度法 设 要求出 的极小值，以及它对应的 值 则应计算 f 的偏导数，并令其为零： * 对第k+1步 ，有哪些信誉好的足球投注网站方向不仅仅考虑 rk，而是在过点 xk，由向量 rk和 pk-1 所张成的平面内寻找函数 H(x) 的最小值 共轭梯度法 即 设要求的极小值点为 ： 若 , 有 ，可取新的有哪些信誉好的足球投注网站方向为 * 它是在上述二维平面中的最佳有哪些信誉好的足球投注网站方向，且有哪些信誉好的足球投注网站步长为 。此处不直接推导 的计算公式，而是先确定有哪些信誉好的足球投注网站方向pk. (rk系数为1) 令 ，由前述第二个方程 共轭梯度法 可得： 所以最佳有哪些信誉好的足球投注网站方向为 且易证 即前后两步有哪些信誉好的足球投注网站方向是 A共轭（或A正交）的 * 利用前面的公式 即可确定有哪些信誉好的足球投注网站步长 则下一个迭代解为 共轭梯度法算法 共轭梯度法 输入: x0, A, b; 输出：xk. r0 = b – Ax0; p0 = r0; k = 0; while 不满足判停准则 rk+1 = rk – αApk ; k = k+1; end * 计算一次矩阵向量乘法，三次向量乘积 * 共轭梯度法 例2. 10 ：根据共轭梯度算法，写出求解线性方程组Ax=b的过程，其中 解：同样假设取初始解为 ，然后计算出 ，算法执行过程如下表 k Apk α xk+1 rk+1 β pk+1 0 [52, 72]T 0.1733 [0.08,-0.6133]T [2.9867,-4.48]T 0.1394 [4.6592,-3.365]T 1 [7.2476,-10.8715]T 0.4121 [2,-2]T 二维问题，两步计算出准确解 * 共轭梯度法 每迭代一步，产生3个向量 xk, rk, pk，分别称为近似解向量、残差向量和有哪些信誉好的足球投注网站方向向量 共轭梯度法有如下特点： 1） ，其中 一般称为Krylov子空间，记为 ?(A,r0)； 2）xk+1不但在向量rk和pk-1所张成的平面上使 H(x)最小，而且在超平面x0+ ?(A,r0)上使H