最优化理论与方法.ppt

共轭梯度法的迭代公式为：对于二次函数有：共轭梯度法（二次函数）共轭梯度法（二次函数）FR，1964：02步终止，且对所有成立下列关系式：01则采用精确线性有哪些信誉好的足球投注网站的共轭梯度法经定理：设目标函数为正定二次函数共轭梯度法（二次函数）01FR，1964：03CW，1972：02PRP，1969：04Dixon，1972：共轭梯度法（二次函数）[例3.30]用共轭梯度法求解1取初始点为2共轭梯度法（二次函数）共轭梯度法的计算步骤：给定初始值，令。计算。若，则，停止计算；否则，转（3）。计算共轭系数共轭梯度法（二次函数）共轭梯度法的计算步骤：01构造有哪些信誉好的足球投注网站方向计算令令，转（2）。02030405共轭梯度法（二次函数）步长不能用显式格式计算，必须用其他直线有哪些信誉好的足球投注网站方法来确定。矩阵A不再是常数矩阵，需要用现行点处的Hesse矩阵。改进思路：将共轭梯度法应用于非二次函数的极小化时，每迭代n次就周期地选取负梯度方向作为有哪些信誉好的足球投注网站方向，所以这种算法称作重新开始的共轭梯度法，即令共轭梯度法（非二次函数）鲍威尔：对非二次函数，在计算中可能出现与几乎正交的情况，此时FR：PRP：共轭梯度法（非二次函数），停止计算；否则，转（3）。共轭梯度法的计算步骤：计算。若，则给定初始值，令。计算共轭系数共轭梯度法（二次函数）若，则，停止计算；否则，令，转（2）。04令05共轭梯度法的计算步骤：01做直线有哪些信誉好的足球投注网站计算03构造有哪些信誉好的足球投注网站方向02共轭梯度法（二次函数）重新开始的共轭梯度法允许采用近似线性有哪些信誉好的足球投注网站过程，只是在采用近似线性有哪些信誉好的足球投注网站时，要采取一定的检查措施，以保证所得到的有哪些信誉好的足球投注网站方向是下降方向。但是，如果频繁地利用负梯度方向作为有哪些信誉好的足球投注网站方向，将大大降低共轭梯度法的效率，而使算法的性态变得更象最速下降法。采取检查措施可以克服这个困难。共轭梯度法（非二次函数）拟牛顿法最速下降法具有结构简单、计算量小的优点，但其收敛速度较慢；共轭梯度类算法具有计算存储量小的优点，一般使用于大规模优化问题。而牛顿法及各种改进的牛顿法具有收敛速度快的优点，但要求在迭代过程中每次构造有哪些信誉好的足球投注网站方向时，首先要计算目标函数的Hesse矩阵，然后需要求解一个线性方程组，从而计算量大，存储量也大，而且有的目标函数的Hesse矩阵很难计算，甚至不好求出，这就抵消了牛顿法收敛速度快的优点，这类算法只适用于中小规模的优化问题。拟牛顿法拟牛顿算法只需利用目标函数及其一阶导数的信息，构造对称正定的矩阵来近似牛顿法中的Hesse矩阵或者其逆矩阵，产生较好的近似牛顿方向，避免了Hesse矩阵的计算，减少了计算量，并且具有超线性收敛的优点。该法被认为是无约束优化（中小规模）问题中最有效的算法。使用导数的无约束最优化方法策略表现形式方法线性近似最速下降法二次近似Newton法共轭梯度法用布鲁丹（Broyden）族或黄（Huang）族拟Newton法修正公式最速下降法（SteepestMethod）考虑无约束问题下降算法对于下降方向的要求：最速下降法的要求：最速下降法（SteepestMethod）最速下降法的计算步骤：