-无约束优化方法.ppt

§2-4 无约束优化方法 无约束优化问题的下降迭代算法具有统一的迭代格式，问题之一是选择有哪些信誉好的足球投注网站方向。 根据有哪些信誉好的足球投注网站方向的不同构成方式，分： 1) 导数法(解析法) 利用目标函数的一阶导数或二阶导数信息构造有哪些信誉好的足球投注网站方向的方法。 梯度法、牛顿法、共轭梯度法和变尺度法… 条件： ①目标函数求导容易； ②目标函数一阶导数连续； ③目标函数是设计变量的显函数。 §2-4 无约束优化方法 2)模式法(直接法) 通过比较几个已知点的函数值构造有哪些信誉好的足球投注网站方向的算法。 鲍威尔法。 构成有哪些信誉好的足球投注网站方向的信息仅仅是几个有限点上的函数值，难于得到较理想的有哪些信誉好的足球投注网站方向。一般迭代次数较多，收敛速度较慢。 一、梯度法 迭代方向是由迭代点的负梯度构成——最速下降法。 梯度法迭代公式 一、梯度法 特点： (1)算法简单，只计算目标函数一阶导数，占用内存少； (2)初始点任选； (3)初始迭代速度快； (4)?有哪些信誉好的足球投注网站路线正交，收敛速度越来越慢。 二、牛顿法 梯度法除在最初几次迭代中函数值下降很快外，总的来说下降不快，且愈接近极值点下降愈慢。 寻求使目标函数值下降更快的方法→牛顿法。 基本思路： ——利用二次曲线逐点近似原目标函数，以二次曲线的极小点近似原目标函数的极小点并逐渐逼近该点。 牛顿法分基本牛顿法和阻尼牛顿法。 1．基本牛顿法 对于非线性正定函数，二阶泰勒展开式只是原函数的近似式，得到X(k+1)只是原函数的近似极小点。以此点作为下一次迭代的起始点X(k) ，能够加快逼近的速度。 对于非正定函数，为保证牛顿方向是函数值下降的方向，海赛矩阵必须正定。 采用定步长，即使牛顿方向是函数值下降的方向，也不能保证函数值下降，即得到的点并不能始终保持函数的下降性→基本牛顿法有可能失效。 2．阻尼牛顿法 五、鲍威尔法 无约束优化的求导法不能使用，如何确定有哪些信誉好的足球投注网站方向？ 由前述知，两次平行有哪些信誉好的足球投注网站可以产生一个共轭方向。鲍威尔 (Powell)法就是利用平行有哪些信誉好的足球投注网站逐渐构造共轭方向和共轭方向组，并沿共轭方向进行一维有哪些信誉好的足球投注网站以逐渐逼近极小点的算法。 由于共轭方向的产生不需要计算函数的导数→属于求解无约束问题的模式法。 鲍威尔法具有超线性收敛速度。 五、鲍威尔法 在基本算法中，方向组的替换采用固定格式，运算简便。但是由此形成的方向组中，有可能出现几个方向线性相关或近似线性相关的现象。 四、共轭梯度法 (2)基向量组合法 取n个基向量(单位坐标向量)ei和另一个独立向量S(0)，令向量S(1)为S(0)和e(0)的线性组合，使 S(0)和S(1)共轭，必须 四、共轭梯度法 3．共轭梯度方向 从任意点X(k)出发，沿负梯度方向作一维有哪些信誉好的足球投注网站得 设与S(k) 共轭的下一个方向S(k+1)由S(k)和点X(k+1)的负梯度的线性组合构成，即 根据共轭条件有 四、共轭梯度法 只需利用相邻两点的梯度就可以构造一个共轭方向。以这种方式产生共轭方向并进行迭代运算的算法称共轭梯度法。 对于正定二元二次函数，沿两个共轭梯度方向进行一维有哪些信誉好的足球投注网站，经过两次迭代即可达到极小点。 四、共轭梯度法 对于一般正定二次函数，沿一组共轭梯度方向依次进行一维有哪些信誉好的足球投注网站，最多n次迭代就可达到极小点。 对于一般函数，当n次迭代还未达到极小点时，应将第n个迭代点作为新的起始点，重新产生新的一组共轭方向，继续迭代，直到满足收敛精度为止。 共轭梯度法具有超线性收敛速度。 共轭梯度法 程序框图 四、共轭梯度法 例 用共轭梯度法求解 解 ① 第一次迭代沿负梯度方向进行有哪些信誉好的足球投注网站 ② 第二次迭代 ? = 0.1 四、共轭梯度法 用共轭梯度法经过两次迭代便求得该二元二次优化问题的极小点。迭代路线与DFP法完全相同。 五、鲍威尔法 1．基本迭代格式 以 n个基向量e(i)构成初始方向组，由点X0(0)出发，沿n个坐标轴方向作n次一维有哪些信誉好的足球投注网站得点X0(n) (坐标轮换法)，以X0(n)和X0(0)的连线作为第一个新产生的方向 沿方向S(0)作一维有哪些信誉好的足球投注网站得点X0(n+1) ，以此点作为下一轮迭代的起始点，即 以S(0)代换原方向组中的某基向量，构成新的方向组。从点X1(