最优化方法,分析.doc

最优化方法结课作业 年 级 数学121班 学 号 201200144209 姓 名 李强 1、几种方法比较 无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。间接法：又称解析法，是应用数学极值理论的解析方法。首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。） 在优化算法中保证整体收敛的重要方法就是线有哪些信誉好的足球投注网站法与信赖域法,这两种算法既相似又有所不同。根据不同的线有哪些信誉好的足球投注网站准则就延伸出不同的线有哪些信誉好的足球投注网站算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。 一维有哪些信誉好的足球投注网站又称线性有哪些信誉好的足球投注网站(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。 一维有哪些信誉好的足球投注网站技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。由于一维有哪些信誉好的足球投注网站的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。 在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk其关键就是构造有哪些信誉好的足球投注网站方向dk和步长因子ak 设Φ(a)=f(xk+adk) 这样从凡出发,沿有哪些信誉好的足球投注网站方向dk,确定步长因子ak,使Φ(a)Φ(0)的问题就是关于步长因子a的一维有哪些信誉好的足球投注网站问题。其主要结构可作如下概括:首先确定包含问题最优解的有哪些信誉好的足球投注网站区间，然后采用某种分割技术或插值方法缩小这个区间，进行有哪些信誉好的足球投注网站求解。 一维有哪些信誉好的足球投注网站通常分为精确的和不精确的两类。如果求得ak使目标函数沿方向dk达到极小,即使得f (xk+akdk)=min f (xk+ adk) ( a0)则称这样的一维有哪些信誉好的足球投注网站为最优一维有哪些信誉好的足球投注网站,或精确一维有哪些信誉好的足球投注网站,ak叫最优步长因子;如果选取ak使目标函数f得到可接受的下降量,即使得下降量f (xk)一f (xk+akdk)0是用户可接受的,则称这样的一维有哪些信誉好的足球投注网站为近似一维有哪些信誉好的足球投注网站,或不精确一维有哪些信誉好的足球投注网站,或可接受一维有哪些信誉好的足球投注网站。由于在实际计算中,一般做不到精确的一维有哪些信誉好的足球投注网站,实际上也没有必要做到这一点,因为精确的一维有哪些信誉好的足球投注网站需要付出较高的代价,而对加速收敛作用不大,因此花费计算量较少的不精确一维有哪些信誉好的足球投注网站方法受到了广泛的重视和欢迎。 精确一维有哪些信誉好的足球投注网站,作为一种理想的状态,虽然在实际计算中被采用的概率较之不精确一维有哪些信誉好的足球投注网站要小,但有关精确一维有哪些信誉好的足球投注网站技术的研究历史悠久成果相当丰富,方法众多,其理论体系也相对比较完备,对其进行进一步的研究仍有着重要的理论意义和现实意义。通常我们根据算法中有无使用导数的情况,将精确一维有哪些信誉好的足球投注网站算法分为两大类:一类是不用函数导数的方法,这其中就包括二分法(又称作对分法或中点法)、0.618法(黄金分割脚、Fibonacci法(分数法)、割线法、成功一失败法等;另一类是使用函数导数的方法,包括经典的Newton法、抛物线法以及各种插值类方法等。 （1）在不用导数的方法中,二分法、0.618法(黄金分割法)以及Fibonacci法均是分割方法,其基本思想就是通过取试探点和进行函数值比较,使包含极小点的有哪些信誉好的足球投注网站区间不断缩短,当区间长度缩短到一定程度时,区间上各点的函数值均接近函数的极小值,从而各点均可看作极小点的近似。分割类方法仅需计算函数值,因此使用的范围较广,尤其适用于非光滑及导数表达式复杂或写不出等情形。 二分法是一种最简单的分割方法,每次迭代都将有哪些信誉好的足球投注网站区间缩短一半,故二分法的收敛速度是线性的,收敛比为0.5,收敛速度较慢。其优势就是每一步迭代的计算量都相对较小,程序简单,而且总能收敛到一个局部极小点。 黄金分割法是一种针对目标函数是单峰函数亦即目标函数为凸的情形的分割类方法,因其不要求函数可微,且每次迭代只需计算一个函数值,程序简单容易实现而被广泛采用。由于黄金分割法是以等比例τ=0.618分割缩小区间的,因此它是一种近似最优方法。针对在实际中遇到的目标函数往往不是单峰函数的情况,HPonfiger(1976)提出了.0618法的改进形式,即在缩小区间时,不只是比较两个内点处的函数值,而是对两内点及其两端点处的函数值进行综合比较,以避免有哪些信誉好的足球投注网站得到的函数值反而比初始区间端点处的函数值大的情况。