非线性规划完整版本.pptVIP

定理(K-T条件)例10：利用K－T条件求解下面的非线性规划为解此方程组，可分几种情况考虑：①④③②例11:考虑非线性规划并验证它为凸规划，用K－T条件求解计算目标和约束函数的海赛阵3.二次规划★一般模型思考:能否在此基础上构想基于线性规划求解的方法?例12:求解二次规划解113/13-2/13-4/3914/1309/26-3/13-9/263/132/13133/130132/1302/31-2/3-4/9-26/931/32/312033/131-2/3-12/34/9[26/9]22/311/3-1/31-2/9-4/94/3011-51/3-2/31/32/312051-1221014/31-1[3]-2/3-4/34111-5-2-2212[3]601-12210141-1328111000000求得的结果是：4.罚函数基本思想：将约束与目标组合在一起，化为无约束极值问题求解。★内点法：从可行域的内部逐步逼近最优解。★外点法：从可行域的外部逐步逼近最优解。★外点法的关键是基于（NLP）构造一个新的目标函数P（X，M），称为罚函数。当X是可行点时，罚项为0当X不是可行点时，罚项是很大的整数。对P（X，M）求极小，可采用无约束优化方法，罚项能保证X逐步趋近可行域。一般步骤：①②③例13：求解非线性规划解构造罚函数例14：求解非线性规划解构造罚函数**三、梯度法和共轭梯度法1.梯度法★一般步骤(1)(2)(3)(4)例7:上例中，目标函数是同心圆族。无论初始点选在何处，在该点的负梯度方向总是指向圆心，而圆心就是极小点，故沿负梯度方向有哪些信誉好的足球投注网站一步便可得极小点。但对于一般的函数，若每次迭代均采用负梯度方向，则由于这些方向是彼此正交的，很可能形成开头几步下降较快，但后来便产生直角锯齿状的“拉锯”现象，收敛速度很慢。可以证明，梯度法是线性收敛的。注：3、例子最速下降法存在的问题：2.共轭梯度法⑴基本概念★★这一性质说明采用共轭方向作为有哪些信誉好的足球投注网站方向，对二次函数求极小可以有限步终止。由此可构造二次函数的共轭方向算法。共轭方向算法用于二次函数时均具有二次终止性。由于一般函数在一点附近的性质往往与二次函数很相似，因此共轭方向算法一般也可用于其他非线性函数，并且至少是线性收敛的。⑵一般步骤①③②④⑤例8：四、牛顿法与拟牛顿法1.牛顿法牛顿法的基本思想为了寻找收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数f，并用迭代点指向近似二次函数极小点的方向来构造有哪些信誉好的足球投注网站方向，然后精确地求出近似二次函数的极小点，以该极小点作为f的极小点近似值。四、牛顿法与拟牛顿法1.牛顿法⑴牛顿方向牛顿法例子：以上例子说明，牛顿法比最速下降法收敛快。牛顿法⑵一般步骤①③④②当一维有哪些信誉好的足球投注网站是精确的，牛顿法为二阶收敛。缺点：★计算海赛阵的逆的工作量很大。★要求f(X)的二阶导存在且海赛阵是正定的(以保证H的逆阵存在和算法是下降的);改进：构造一个矩阵代替牛顿方向中的，使满足：★正定★只用到f(X)的一阶导信息★随着k的增加，充分接近于称为尺度阵。由于它每次都在变，故称以代替牛顿法中的的算法为变尺度法。2.拟牛顿法★拟牛顿法是尺度阵满足的一类变尺度法;★拟牛顿法一般是超线性收敛的;★DFP是一种著名的拟牛顿法;★当f(X)为二次函数时，D