第4章-优化设计（三）.pptVIP

按上式求得负梯度方向的一个极小点 ， 作为原问题的一个近似最优解； 若此解尚不满足精度要求，则再以 作为迭代起始点，以 处的负梯度方向 作为有哪些信誉好的足球投注网站方向， 求得该方向的极小点 ， 如此进行下去，直到求得的解满足收敛条件为止。 式中　 为最优步长。 梯度法的迭代步骤 （1）任取初始点 ，选定收敛精度 ＞0，令 。 （2）计算 。 （3）若 ≤ ，则迭代终止，取 ，否则进行步骤（4）。 （4）用一维有哪些信誉好的足球投注网站求 ，得最优步长 。 （5）令 ， ，返回步骤（2）。 解：由梯度的定义，该目标函数的梯度为： 例2-A 已知一目标函数为 ， 试求在点　　 的梯度。 则该函数在点　　的梯度为 梯度法的终止条件： 　　梯度法的特点： (1) 算法简单； (2) 前后两次迭代方向正交，所以有哪些信誉好的足球投注网站路线是呈直角锯齿形； (3) 开始有哪些信誉好的足球投注网站时，收敛速度较快，但当靠近极小点附近，收敛速度越来越慢，这是梯度法的较大缺点。 4.4.4 牛顿法 原始牛顿法和阻尼牛顿法两种。 其迭代过程是在求目标函数 的极小值时， 先将它在点 附近作泰勒展开，并取二次近似函数式；然后求出这个二次函数的极小点，并以该极小点作为原 目标函数的极小点X* 的一次近似解； 该算法的 基本思路： 它是以二次函数来逼近原目标函数。 牛顿法也是一种解析法，它是梯度法的进一步发展。 该法的有哪些信誉好的足球投注网站方向的构造： 是根据目标函数的负梯度和二阶偏导数 矩阵来构造的。 牛顿法分为： 若此解不满足精度要求，则可以此近似解作为下一次迭代的初始点，仿照上面的做法，求出二次近似解； 照此迭代下去，直至所求出的近似极小点满足精度要求。 　　现用二维问题来加以说明， 　　将目标函数 　　 在给定点 作泰勒展开，并取二次近似式： 为求得二次近似式 的极小点 ，对上式求梯度，并令 解之可求得： 式中: 为海森（Hessian）矩阵的逆矩阵。 　　在一般情况下，　　不一定是二次函数， 　　则所求得的极小点　 也不一定是原目标函数　　 的真正极小点。 　 　　但由于在　　点附近，函数　　 和　　 是近似的， 　　因而 可作为 的近似极小点。 　　为求得满足精度要求的近似极小点 ， 　　可将 作为下一次迭代的起始点 ，即得 （4-39） 　　由上式(4-39)可知，牛顿法的有哪些信誉好的足球投注网站方向为 上式就是原始牛顿法的迭代公式。 上式中的有哪些信誉好的足球投注网站方向　　　　　称为牛顿方向， 可见原始牛顿法的步长因子恒取：　　 　， 因此，原始牛顿法是一种定步长的迭代过程。 　　牛顿算法对于二次函数是非常有效的， 　　迭代一步就可达到极值点，而这一步根本不需要进行一维有哪些信誉好的足球投注网站。 　　对于高次函数， 　　只有当迭代靠近极值点附近，目标函数近似二次函数时， 　　才会保证很快收敛，否则也可能导致算法失败。 为了克服这一缺点，便将迭代公式（4-39）修改为： （4-41） 上式　　　为阻尼牛顿法的迭代公式。 式中，步长因子 　　　又称阻尼因子。 ，则迭代停止 ， ＞0，令 。 修正牛顿法的迭代步骤如下： （1）给定初始点 ，收敛精度 （2）计算 ，若 ＜ 即为所求，否则进行（3）。 （3）计算 及 。 （4）沿 进行一维有哪些信誉好的足球投注网站，确定最优步长 。 （5）令 ， ，返回（2）。 阻尼牛顿法保持了牛顿法收敛快的优点，又不要求初始点选得很好，因而在实际应用中取得了较好的效果。其缺点仍然是需计算 及其逆阵，