非线性优化的加速收敛方法与其应用.pdfVIP

倾I‘论殳 1|线性优化的抽l速收敛方法及Je应用 1 引 言 1．1 非线性优化问题及其算法结构 非线性优化是--fl应用相当广泛的学科，它讨论决策问题的最优选择之特性，构 造寻找最优选择的计算方法。广泛应用于运输、农业、制造、航空、远程通讯、能源、 生物、会融、和环境等领域。 从数学模型的形式来看非线性优化可分为无约束优化问题和约束优化问题，由于 约束优化问题可采用惩罚函数方法或乘子法转化为无约束问题，所以我们设非线性优 化的基本形式为 miPf(x) (1．0) 其中f：D￡R”_+矗。一般地我们总是假定D=R”，即 minf(x) (1．I) xeR 非线性优主要采用迭代法进行求解，即给定初始点J。∈R”．按照某种规则产生 解x‘。由于问题的复杂性，一般地我们仅要求z‘是局部极小点。- 求解问题(1．1)其基本的算法结构为： (I)给定初始点x。 (II)确定有哪些信誉好的足球投注网站方向d女，使xy(也)7d。0 (III)确定步长因子吼，使函数，(工)在x。处沿d。方向的值下降尽可能多 (IV)按下式进行迭代 xt“=x^+口★d女 (V)若x¨满足某种终止条件则停止，否则转(II)。 由以上非线性优化算法的基本结构可知非线性优化迭代算法的组成主要包含两 个部分：一是步长因子嘶的确定，二是有哪些信誉好的足球投注网站方向d。的确定。t2。的确定称为一维有哪些信誉好的足球投注网站 问题．d。选取不同构成许许多多的解析优化算法。 对于迭代算法，首要的是陔算法应能确定求出我们需要的解，即迭代产生的序列 {x。}能收敛于局部极小点x+。其次我们还要求迭代序列{也}能有较快的收敛速度。 塑!：笙兰 堡垡堡垡垡塑垫!堕些塾立垄丝!!坐里 1．2本文的研究背景 一维有哪些信誉好的足球投注网站的本质是求解一维极小．即 1卿，(-+删^) (1·2) 其求解算法的主要结构是首先是确定最优解的有哪些信誉好的足球投注网站区间，再用插值方法或试探法，得 到满足给定精度要求的最优解口。的一个近似极小。对于有哪些信誉好的足球投注网站区间确定的最简单的方 值法即是对一维极小问题的目标函数构造插值多项式，进而用插值多项式的极小点逐 步逼近吼。实际应用中出于二点二次插值法{63‘…只要求一阶导数的信息而且是超线 性收敛的从而效率较高。事实上一维有哪些信誉好的足球投注网站在一定条件下等价于一个非线性方程的求解 问题．所以对于求解非线性方程的方法可以应用到一维有哪些信誉好的足球投注网站中来，如简单迭代法、 Newton法、弦截法165I等等。 在非线性优化方法的研究领域．有哪些信誉好的足球投注网站方向d。的选取一直是近几十年来国内外优化 梯度法以负梯度作为有哪些信誉好的足球投注网站方向，它的历史最为悠久，算法也最为简单，由于负梯度方 向是在此点的最速下降方向，所以梯度法也被称为最速下降法。 大多数多维优化方法的每一次迭代需要进行一维有哪些信誉好的足球投注网站旧】。它消耗了大量的计算时 间．虽然已经有了许多成熟的一维有哪些信誉好的足球投注网站算法，然而这些算法的收敛速度还不太让人满 意，因此加速一维有哪些信誉好的足球投注网站序列的收敛，减少计算时阳J有着重要意义。 最速下降法最为简单，但其收敛速度最为缓慢，尤其当目标函数的等值线接近于 的每一步所耗费的计算量很大。共轭梯度法只需向量运算而不需矩阵运算，虽然其收 敛速度比最速下降法要快。然而多数的共轭梯度法是线性收敛的【6习(再丌始的PRP 和FR共轭梯度法是疗步二阶收敛的…1)。 1．3研究的技术路线 外推法是最近四十年来迅速发展的一种计算方法．它在数值计算的各个方面都有 应用，数值积分中的Romber8积分法就是一种外推方法。一维序列的外推方法主要 有多项式外推法、有理式外推法和s外推法f621，主要应用于数值积分和微分、函数方 程数值解、加速序列的收敛、方程求根等方面。 向量外推法(Vector 401对向量序列进行外推计算，只 SequenceExtrapolation)㈣24 塑!：堡兰