第四章无约束优化方法[已排].ppt

第4章　无约束优化方法 第1章所列举的机械优化设计问题，都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。 为什么要研究无约束优化问题： (1)有些实际问题，其数学模型本身就是一个无约束优化问题。 (2) 通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 (3)约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 各种无约束优化解法的区别：有哪些信誉好的足球投注网站方向的不同 分类： （1）不使用导数信息 （2）要使用导数。 有哪些信誉好的足球投注网站方向的构成问题乃是无约束优化方法的关键。 无约束优化问题是： 求n维设计变量 使目标函数： 如何有哪些信誉好的足球投注网站目标？ 函数的负梯度方向是函数值下降最快的方向。 有哪些信誉好的足球投注网站方向d取该点的负梯度方向 　　(最速下降方向) ，使函数值在该点附近的范围内下降最快 。 为了使目标函数值沿有哪些信誉好的足球投注网站方向 　　能够获得最大的下降值，其步长因子 　应取一维有哪些信誉好的足球投注网站的最佳步长。即有 4.1　梯度法 　　在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而有哪些信誉好的足球投注网站方向就是负梯度方向，因此相邻两个有哪些信誉好的足球投注网站方向互相垂直。这就是说在迭代点向函数极小点靠近的过程，走的是曲折的路线。形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。 根据一元函数极值的必要条件和多元复合函数求导公式，得 例4-1　求目标函数 　　　　的极小点。 解　取初始点 则初始点处函数值及梯度分别为 沿负梯度方向进行一维有哪些信誉好的足球投注网站，有 为一维有哪些信誉好的足球投注网站最佳步长，应满足极值必要条件 算出一维有哪些信誉好的足球投注网站最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 将上例中目标函数 引入变换 y1=x1, y2=5x2 则函数f(x)变为： 其等值线由椭圆变成一簇同心圆。 仍从 即 出发进行最速下降法寻优。此时： 沿负梯度方向进行一维有哪些信誉好的足球投注网站： 这一问题的目标函数f(x)的等值线为一簇椭圆。 β 为一维有哪些信誉好的足球投注网站最佳步长，可由极值条件： 由 从而算得一步计算后设计点的位置及其目标函数： 经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换： 等值线由椭圆变成圆。 1 1 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次有哪些信誉好的足球投注网站方向的正交性，决定了迭代全过程的有哪些信誉好的足球投注网站路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次有哪些信誉好的足球投注网站即可达到极小点。 梯度法的特点 利用有限的信息！ 设 　为 　　的极小点 基本思想 ： 在xk邻域内用一个二次函数 来近似代替原目标函数，并将 的极小点作为对目标函数 求优的下一个迭代点 　。经多次迭代，使之逼近目标函数 的极小点。 4.2　牛顿法及其改进 　　这就是多元函数求极值的牛顿法迭代公式。 　　对于二次函数 ，海赛矩阵是一个常矩阵，其中各元素均为常数。因此，无论从任何点出发，只需一步就可找到极小点。 例4－2　求目标函数 　　　　的极小点。 解 取初始点 阻尼牛顿法 阻尼因子 ，沿牛顿方向进行一维有哪些信誉好的足球投注网站的最佳步长，由下式求得： 经过一次迭代即求得极小点 　， 函数极小值 　。 　　从牛顿法迭代公式的推演中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭代公式，有时会使函数值上升 。 阻尼牛顿法称序框图 　　牛顿法和阻尼牛顿法统称为牛顿型方法。这类方法的主要缺点是每次迭代都要计算函数的二阶导数矩阵，并对该矩阵求逆。这样工作量很大。特别是矩阵求逆，当维数高时工作量更大 。 一般迭代式： 梯度法： 牛顿法： 阻尼牛顿法： 梯度法与牛顿法： 　　变尺度法是在牛顿法的思想上进行了重大改进的一类方法 基本思想 　　变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。 例如在用最速下降法求 的极小 值时 ,需要进行10次迭代才能