第4章 无约束优化方法（已排）.pptVIP

第4章　无约束优化方法 4.1　梯度法 4.2　牛顿法及其改进 4.3　变尺度法 4.4　共轭方向法 4.5　鲍威尔方法 为一维有哪些信誉好的足球投注网站最佳步长，应满足 得: , 2）再按DFP法构造点x1处的搜寻方向d1，需计算 沿d0方向进行一维有哪些信誉好的足球投注网站，得 代入校正公式 = = 第二次搜寻方向为 再沿d1进行一维有哪些信誉好的足球投注网站，得 为一维有哪些信誉好的足球投注网站最佳步长，应满足 , 得 3）判断x2是否为极值点 梯度: 海赛矩阵 : 　　梯度为零向量,海赛矩阵正定。可见点满足极值充要条件，因此为极小点。 当G为单位矩阵时， 假设目标函数f(x) 在极值点附近的二次近似函数为 对二维情况 任选取初始点x0沿某个下降方向d0作一维有哪些信誉好的足球投注网站，得x1 1.共轭方向： 设G为n×n阶实对称正定矩阵，如果有两个n维向量d0和d1满足 ，则称向量d0与d1 关于矩阵G共轭。 　　因为 是沿d0方向有哪些信誉好的足球投注网站的最佳步长，即在点x1处函数f（x）沿方向d0的方向导数为零。考虑到点x1处方向导数与梯度之间的关系，故有 　　如果按最速下降法，选择负梯度方向 　为有哪些信誉好的足球投注网站方向，则将发生锯齿现象 。 取下一次的迭代有哪些信誉好的足球投注网站方向d1直指极小点x* . α0d0 x 0 x1 x* 1 1 α1d1 d2 　那么这样的d1方向应该满足什么条件呢 ? 对于前述的二次函数: 有 当 时 。 x*是f(x)极小点，应满足极值必要条件，故有 将等式两边同时左乘 得： 如果能够选定这样的有哪些信誉好的足球投注网站方向，那么对于二元二次函数只需顺次进行d0、d1两次直线有哪些信誉好的足球投注网站就可以求到极小点x* ，即有 　　就是使d1直指极小点x* ， d1所必须满足的条件 。 两个向量d0和d1称为G的共轭向量，或称d0和d1对G是共轭方向。 2.共轭方向的性质 性质1 若非零向量系d0,d1,d2,…,dm-1是对G共轭，则这m个向量是线性无关的。 性质2 在n维空间中互相共轭的非零向量的个数不超过n。 性质3 从任意初始点出发，顺次沿n个G的共轭方向d0,d1, d2,…,进行一维有哪些信誉好的足球投注网站，最多经过n次迭代就可以找到的二次函数f(x)极小点。 关键：新的共轭方向确定 设与dk共轭的下一个方向dk+1由dk和点xk+1的负梯度的线形组合构成，即： 共轭条件： 3.共轭梯度法 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维有哪些信誉好的足球投注网站: 解得： 令 为函数的泰勒二次展开式 则 上两式相减，并代入 则： 将式 与式 两边相乘，并应用共轭条件 得： 因此 ，已知初始点[1,1]T 例题 4-4　求下列问题的极值 解： 1）第一次沿负梯度方向搜寻 计算初始点处的梯度 为一维有哪些信誉好的足球投注网站最佳步长，应满足 迭代精度 　　。 得: 2）第二次迭代： 代入目标函数 得 因 收敛。 由 从而有： 对函数： 基本思想：在不用导数的前提下，在迭代中逐次构造G的共轭方向。 1.共轭方向的生成 j k k k d d dj g g k+1 x x k+1 设xk, xk+1为从不同点出发，沿同一方向dj进行一维有哪些信誉好的足球投注网站而到的两个极小点. 鲍威尔（Powell）法是直接利用函数值来构造共轭方向的一种方法 　　另一方面，对于上述二次函数，其xk, xk+1两点处的梯度可表示为: 因而有 取 　　这说明只要沿dj方向分别对函作两次一维有哪些信誉好的足球投注网站，得到两个极小点xk和xk+1 ，那么这两点的连线所给出的方向dk就是与dj一起对G共轭的方向。 梯度和等值面相垂直的性质, dj和 xk, xk+1两点处的梯度gk,gk+1之间存在关系: 1）任选一初始点x0，再选两个线性无关的向量，如坐标轴单位向量e1=[1,0]T和e2=[0,1]T作为初始有哪些信誉好的足球投注网站方向。 2）从x0出发，顺次沿e1， e1作一维有哪些信誉好的足球投注网站，得 点，两点连线得一新方向d1 x 1 x 2 x 0 o e 1 e 2 d 1 d 2 x * 1 2.基本算法 二维情况描述鲍威尔的基本算法: 　　用 d1代替e1形成两个线性无关向量d1 ,e2 ，作为下一轮迭代的有哪些信誉好的足球投注网站方向。再 从出发，沿d1作一维有哪些信誉好的足球投注网站得点 　，作为下一轮迭代的初始点。 x 1 x 2 x 0 o e 1 e 2 d 1 d 2 x * 1 3）从出发 ，顺次沿e2,d1 作一维有哪些信誉好的足球投注网站，得到点 　，两点连线得一新方向: 沿d2作一维有哪些信誉好的足球投注网站得点x2 . 即是二维问题的极小点x* . 方法的基本迭代格式包括共轭方向产生和方向替换两主要步骤。 上述基本算法仅具有理论意义 。 把二维情况的基本算法扩展到n维，则鲍威尔基本算