无约束最优化与非线性方程的数值方法-介绍(原版译文方便论文写作)..doc

《无约束最优化与非线性方程的数值方法这本书讨论三大非线性问题计算的方法非线性方程组 1.1 考虑的问题 这本书讨论了实践中经常遇到的三大非线性问题的实际变量。这些是合理假设下建立的数学等价，但我们不打算用相同的算法来处理，而打算展示当前最佳的算法是如何找出每个问题的结构。 联立非线性方程问题现在简称非线性方程 公式如下 在公式中 表示n维欧氏空间。当然，(1.1.1)只是 如果已知且 公式中计算出来的必然会是的最小 表示F的第i个组成函数 （1.1.2）是我们要考虑的第二个问题。通常的缩写。例如： 可以得出 在一些应用中，有人对解决（1.1.3）受限版本有兴趣，其中是一个封闭的内部，那么（1.1.4） 仍可以看作是一个无约束极小化问题。然而，如果是的边界点，的极小化超过成为一个约束极小化问题。我们不考虑约束问题，因为目前已知的该如何去解决这个问题的知识还较少，而且其间有很多无约束问题需要我们考虑。此外，解决无约束问题的技巧是解决约束算法很接近约束问题的答案，就是发现非线性方程组的联立解都等于。最终，我们在实践中遇到的绝大多数的问题不是无约束问题就是最简单的约束问题——例如每个都必须非负数。 我们考虑的第三个问题也是无约束极小化的一个特殊例子，但是由于它的重要性以及它特殊的结构，其本身就构成一个研究领域。这就是非线性最小二乘问题： 表示的第i个组成函数。（1.1.5）在曲线拟合中是最常见的，除此之外当线性系统的线性需求比自由度多时它也会出现。 当非线性函数、至少有一个、两个或者分别有两个连续不同数时，我们只考虑最常见的例子。要是函数是充分平滑的，我们不一定要用假设，导数就可通过分析得出。对于今天正在解决的非线性问题的典型规模以及其它特点的进一步阐释，可看1.2节。 在非线性问题的数值解的典型的场景中，计算者须提供评估函数的一个子程序，并且起始点是的大概近似值。如果可行，计算者还需提供第一个导数，或许还有第二个导数。我们这本书的重点是解决在这个框架中遇到的最常见的一些困难：（1）如果起始点和最终的答案（全局方法）不是近似值该如何解决以及如何用区域变量来有效的联合（局部方法）这个问题；（2）以及如果没得出解析导数应该如何处理；（3）如果问题函数的求值用精确的算法将会是高效的（算法往往不精确）。我们研究的基本方法以及提供的基本算法思路是当前解决这些问题的最好方法。我们也给出了自认为是理解这些方法和，扩展或改进这些问题的相关分析。尤其是，我们试图辨别并强调这些在这个领域已经演变为中心的理念和方法。我们认为这个领域已经到达了一个可识别技术的点,这个点很可能还可改进,但不大可能如量子跳跃般超越目前最好的算法。 解决非线性方程和无约束最小化的问题的方法很相似。这本书大部分是关于这两个问题的。非线性最小二乘问题只是无约束极小化的一个特例,但可以利用非线性最小二乘问题的特殊结构调整无约束极小化技术获取更好的算法。因此第十章用一个广泛可行的例子说明了如何应用和扩展前部分的内容。 在这本书中,我们没有解决的问题是找出一个非线性函数的极小点，这个变量是在出现许多个不同的局部极小值的情况下的绝对最低点。（1.1.2）的解答是，是开放区域的连接。这是一个非常难的问题,并无广泛的研究也不像我们已解决的问题那样容易。涉及此问题的两个论文集分别是(1975,1978). 通观全书我们会使用到全局” 或者“全局收敛法”这些词语来表示一种算法，这种算法是专门设计用来汇集非线性函数的全局极小点、或者是任何一个非线性方程组的起始点的一些解法。 把这些算法叫做“局部”或者“局部收敛”是比较合适的，但在另一个算法上这些说明已经被传统保留了，对于一般算法来说确保从每个起始点收敛的方法或许是低效的（选自Allgower and Georg (1980)）。 1.2 “真实世界”问题的特征 在这节中我们提供一些关于实践中遇到的非线性问题。首先我们列举了三个真正的非线性问题的例子和一些参与设置数值问题的思考。然后我们对大小、费用和其他非线性问题中遇到的一般特征作出了评价。 讨论样品问题的困难之一是在这一领域的背景和代数描述的问题很少是简单的。虽然这使得咨询工作很有趣,但对于介绍性数值分析的书是没有什么帮助的。因此,我们尽可能简化我们的示例。 最简单的非线性问题只包含一个变量。例如,科学家可能希望确定分子构型化合物。研究者得出一个公式f(x)，把可能配置的势能看作函数的切线x与两个组件之间的角度。然后,因为自然会导致分子承担最小势能的配置,所以需要找到f(x)的最小值x。这是一个单变量x的最小化问题。它可能是高度非线性的, 由于x可以取任何值，所以物理函数真的是无约束。 如果问题中只有一个变量，那么就可以用第二章的方法轻易解决。然而我们已经得知相关的问