第三章非线性规划无约束问题的最优化方法.ppt

第 三 节 牛 顿 法 5. 修正牛顿法的算法步骤 第4步：进行一维有哪些信誉好的足球投注网站，求lk，使 计算x(k+1)作为下一轮迭代点， 令k=k+1，转第2步。 第1步：给定初始点 ，及终止误差 ，令k =0 第2步：求梯度向量 ，并计算 若 ，停止迭代，输出x(k)作为极小点的近似值，否则转到下一步。 第3步：构造牛顿方向。根据 确定 第 三 节 牛 顿 法 例题4 用修正牛顿法求解 给定初始点 答案： 第 三 节 牛 顿 法 解： 第 三 节 牛 顿 法 构造牛顿方向： 从x(0)出发，沿牛顿方向做一维有哪些信誉好的足球投注网站，令步长变量为l，最优步长为l0 第 三 节 牛 顿 法 所以选取 作为极小点。 第 三 节 牛 顿 法 6. 修正牛顿法的缺点： 修正牛顿法虽然比牛顿法有所改进，但也有不足之处： (1) 要计算黑塞矩阵及其逆矩阵，工作量较大； (2) 要求迭代点x(k)处的黑塞矩阵正定。 可是有些函数未必满足上述条件，因而牛顿方向未必是下降的，也有一些函数的黑塞矩阵是不可逆的，因此不能确定后继的迭代点，导致迭代工作无法进行。 第 四 节 共 轭 梯 度 法 一、基本思想： 共轭梯度法是基于共轭方向的一种算法。针对目标函数为二次函数的问题，其有哪些信誉好的足球投注网站方向是与二次函数系数矩阵相关的共轭方向。用这类方法求解n元二次正定函数的极小问题，最多进行n次一维有哪些信誉好的足球投注网站。 二、共轭的概念 定义：设x，y是n维欧氏空间中两个向量，即 ，若有 ，就称 x与y是两个正交的向量。又设A是一个n阶对称正定矩阵，若有 ，则称向量x，y关于A共轭正交，简称关于A共轭。 第 四 节 共 轭 梯 度 法 例： 向量x，y关于A共轭。 向量x，y关于A共轭。 但是， 另外，向量(1,0)T与(0,1)T显然是正交的，但是它们不是关于A共轭。 而向量(1,1)T与(1,-1)T显然是正交的，而且它们还关于A共轭。 第 四 节 共 轭 梯 度 法 三、共轭方向 设一组非零向量 ，A为n阶对称正定矩阵，若有下式成立： 。 称向量组 关于A共轭，也称它们为一组A共轭方向，或称为A的n个共轭方向。 若A是n阶单位矩阵时： 则p(i)，p(j)是正交向量。 设有二维二次函数 其等值线为 为以x0为中心的椭圆。 第 四 节 共 轭 梯 度 法 根据 可知，x0是f (x)的极小点。 设x1是某等值线上的一点，该等值线在点x1处的法向量为 若记 又设 是该等值线在点x1处的一个切向量，则有切向量 与法向量 正交，即 第 四 节 共 轭 梯 度 法 所以，等值线上一点处的切向量与由该点指向极小点的向量关于A共轭。 四、正定二次函数的共轭梯度法 用不同方法产生关于A共轭的一组共轭方向组就得到不同的共轭方向法。用迭代点处的负梯度向量为基础产生一组共轭方向的方法叫做共轭梯度法。 因此，对于以上定义的正定二维二次函数，若依次沿着方向 和 进行一维有哪些信誉好的足球投注网站，则经过两次迭代必可到达极小点。 第 四 节 共 轭 梯 度 法 考虑 第1步：任意取定初始点x(0)，并取初始有哪些信誉好的足球投注网站方向p(0)为x(0)的负梯度方向。 以x(0)为出发点沿p(0)方向进行一维有哪些信誉好的足球投注网站： 若 则x (1)就是最优解，否则继续进行迭代。 第2步：以x(1)点处的负梯度方向与上一个有哪些信誉好的足球投注网站方向的组合来形成下一个有哪些信誉好的足球投注网站方向p(1)，令 第 四 节 共 轭 梯 度 法 第3步：以x(1)点为出发点沿p(1)方向进行最佳一维有哪些信誉好的足球投注网站： ， 为待定常数，使得p(1)与p(0)关于A共轭。 第 四 节 共 轭 梯 度 法 若 则x (2)就是最优解，否则继续进行迭代。 …… 综上所述，对于正定n维二次函数，共轭梯度法的公式为 第 四 节 共 轭 梯 度 法 (k=0,1,…(n-1)) (k=0,1