无约束极值问题.pptVIP

无约束极值问题一最速下降法最速下降法是求多元函数极值的最古老的数值算法，它直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。其缺点是收敛速度较慢。（一）算法思想：假定我们已经迭代到第K次，已有从出发进一步迭代。§3最速下降法和共轭梯度法显然应沿下降方向进行，而下降最快的方向是为了使目标函数沿此方向下降的最多，沿此方向进行直线有哪些信誉好的足球投注网站，从而得到第k+1次迭代点即其中步长因子满足选定初始点，并给定精度，令若，则停止，否则令由求出最佳步长。令返回第2步则得新的迭代点（二）算法步骤这说明其前后两个有哪些信誉好的足球投注网站方向总是垂直的，这就造成了最优步长的最速下降法逼近极小点过程是“之”字形，并且越靠近极小点步长越小，移动越慢，以至在实际运用中在可行的计算时间内得不到需要的结果。这似乎与“最速下降”的名称矛盾。其实不然，因为梯度是函数局部性质，从局部看，函数在这一点附近下降的很快，然而从整体看，则走过了许多弯路。因此反而是不好的。（三)锯齿现象：最速下降法在两个相邻点之间的有哪些信誉好的足球投注网站方向对于正定二次函数是正交的，因而最速下降法向最小点逼近是曲折前进的。这种现象称为锯齿现象。除最特殊的目标函数和极特殊的初始点外，这种现象都会发生。这是因为最速下降法的有哪些信誉好的足球投注网站方向正是从而知：=0为了清除最优步长最速下降法中两个有哪些信誉好的足球投注网站方向正交的不良后果，人们发明了不少方法，如：（1）选择不同初始点。例如：对问题：取初点则=令得然后再从开始新的迭代，经过10次迭代，得最优解计算中可以发现，开始几次迭代，步长比较大，函数值下将降较快但当接进最优点时，步长很小，目标函数值下降很慢。如果不取初点为而取虽然后一初点较前一初点离最优点远，但迭代中不含上面出现的锯齿现象。这时：采用精确的一维有哪些信誉好的足球投注网站：即用一维有哪些信誉好的足球投注网站求出的步长为时，我们不取，而用的一个近似值作为,如取=0.9这样可使相邻两个迭代点处的梯度不正交，从而改变收敛性。04一步就得到了极小点。03可见：造成距齿现象与初始点的选择有关，但怎样选一个初始点也是一件困难的事01对于最速下降法，有时为了减少计算工作量，不采用直线有哪些信誉好的足球投注网站确定步长，而采用固定步长λ的方法，称为固定步长最速下降法。只要λ充分小，总有：但λ到底取多大，没有统一的标准，λ取小了，收敛太慢，而λ取大了，又会漏掉极小点。0201首先考虑二次函数的无约束极小问题02令03将(1)化为04显然，（3）式经n次一维有哪些信誉好的足球投注网站可得最优解05为对角阵二共轭梯度法定义：设为n阶正定阵，若n维方向满足共轭方向性质：设为n阶正定阵，若是共轭的，则必线性无关则称是共轭的。0103021共轭梯度法思想：将共轭性与最速下降方法结合，利用已知点处的梯度构造一组共轭方向，并沿此组方向进行有哪些信誉好的足球投注网站，求出极小点。适用范围：凸函数（二）共轭梯度法2FR共轭梯度法考虑问题：其中：为对称正定阵（1）算法步骤：1任选初始点令2若，则停止；否则令其中：3k=k+1返回2用FR共轭梯度法求解算法举例：解：第一次迭代第二次迭代共轭有哪些信誉好的足球投注网站方向：非二次型的共轭梯度法1设2