最优化理论和方法.ppt

共轭梯度法（二次函数） 共轭梯度法的迭代公式为： 对于二次函数有： 共轭梯度法（二次函数） FR，1964： 共轭梯度法（二次函数） 定理：设目标函数为正定二次函数 则采用精确线性有哪些信誉好的足球投注网站的共轭梯度法经 步终止，且对所有 成立下列关系式： 共轭梯度法（二次函数） FR，1964： PRP，1969： CW，1972： Dixon，1972： 共轭梯度法（二次函数） [例3.30]用共轭梯度法求解 取初始点为 共轭梯度法（二次函数） 共轭梯度法的计算步骤： （1）给定初始值 ，令 。 （2）计算 。若 ，则 ，停止计算；否则，转（3）。 （3）计算共轭系数 共轭梯度法（二次函数） 共轭梯度法的计算步骤： （4）构造有哪些信誉好的足球投注网站方向 （5）计算 令 （6）令 ，转（2）。 共轭梯度法（非二次函数） （1）步长 不能用显式格式计算，必须用其他直线有哪些信誉好的足球投注网站方法来确定。 （2）矩阵A不再是常数矩阵，需要用现行点处的Hesse矩阵 。 改进思路：将共轭梯度法应用于非二次函数的极小化时，每迭代n次就周期地选取负梯度方向作为有哪些信誉好的足球投注网站方向，所以这种算法称作重新开始的共轭梯度法，即令 共轭梯度法（非二次函数） 鲍威尔：对非二次函数，在计算中可能出现 与 几乎正交的情况，此时 FR： PRP： 共轭梯度法（二次函数） 共轭梯度法的计算步骤： （1）给定初始值 ，令 。 （2）计算 。若 ，则 ，停止计算；否则，转（3）。 （3）计算共轭系数 共轭梯度法（二次函数） 共轭梯度法的计算步骤： （4）构造有哪些信誉好的足球投注网站方向 （5）做直线有哪些信誉好的足球投注网站计算 令 （6）若 ，则 ，停止计算；否则，令 ，转（2）。 共轭梯度法（非二次函数） 重新开始的共轭梯度法允许采用近似线性有哪些信誉好的足球投注网站过程，只是在采用近似线性有哪些信誉好的足球投注网站时，要采取一定的检查措施，以保证所得到的有哪些信誉好的足球投注网站方向是下降方向。 但是，如果频繁地利用负梯度方向作为有哪些信誉好的足球投注网站方向，将大大降低共轭梯度法的效率，而使算法的性态变得更象最速下降法。采取检查措施可以克服这个困难。 拟牛顿法 最速下降法具有结构简单、计算量小的优点，但其收敛速度较慢；共轭梯度类算法具有计算存储量小的优点，一般使用于大规模优化问题。而牛顿法及各种改进的牛顿法具有收敛速度快的优点，但要求在迭代过程中每次构造有哪些信誉好的足球投注网站方向时，首先要计算目标函数的Hesse矩阵，然后需要求解一个线性方程组，从而计算量大，存储量也大，而且有的目标函数的Hesse矩阵很难计算，甚至不好求出，这就抵消了牛顿法收敛速度快的优点，这类算法只适用于中小规模的优化问题。 拟牛顿法 拟牛顿算法只需利用目标函数及其一阶导数的信息，构造对称正定的矩阵来近似牛顿法中的Hesse矩阵或者其逆矩阵，产生较好的近似牛顿方向，避免了Hesse矩阵的计算，减少了计算量，并且具有超线性收敛的优点。该法被认为是无约束优化（中小规模）问题中最有效的算法。 拟牛顿法 设 二次连续可微，则 在 处的二次近似为： 则 即拟牛顿法的基本迭代格式 拟牛顿法 记 则 若Hesse矩阵 可逆，则 拟牛顿条件或拟牛顿方程 拟牛顿法 二次近似 满足性质： 拟牛顿法 拟牛顿算法的一般框架 与牛顿法相比，拟牛顿法还要求以下几点： （1） （或 ）是对称正定矩阵，从而是下降方向，使得方法具有下降性质。 （2） 或 称 （或 ）为校正矩阵，上两个方程为校正条件。 拟牛顿法 （拟牛顿算法框架） （1）给出 初始值 ，