现代设计方法第三章详解.ppt

1.一阶梯度法(最速下降法) ， 定义： 采用使目标函数值下降得最快的负梯度方向作为探索方向，求目标函数的极小值的方法，又称最速下降法。 一阶梯度法的迭代公式 3.4无约束多维问题优化方法 ， 迭代步骤： 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 一阶梯度法的特点： 1）对初始有哪些信誉好的足球投注网站点无严格要求； 2）收敛速度不快； 3）相邻两次迭代有哪些信誉好的足球投注网站方向互相垂直，在远离极值点处 收敛快，在靠近极值点处收敛慢； 4）收敛速度与目标函数值的性质有关，对等值线是同 心圆的目标函数来说，经过一次迭代就可以达到极 值点。 1.一阶梯度法(最速下降法) 3.4无约束多维问题优化方法 ， 基本思想： 利用二次曲线来逐点近似原目标函数，以二次曲线的极小点来近似原目标函数的极小点并逐渐逼近该点。 基本牛顿法的迭代公式： 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 迭代步骤： 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 二阶梯度法的缺点： 1）迭代次数较多时，计算量较大； 2）如果二阶偏导数矩阵为零，其逆矩阵不存在， 二阶梯度法失效。 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 2.二阶梯度法（牛顿法） 3.4无约束多维问题优化方法 ， 基本思想： 先沿最速下降方向(负梯度方向)探索第一步，然后沿与该负梯度方向相共轭的方向进行探索。 特点： 共轭梯度法是介于一阶梯度法与二阶梯度法之间的一个方法，它仅需利用一阶导数信息，克服了一阶梯度法收敛慢的缺点，又避免了二阶梯度法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性优化最有效的算法之一。 3.共轭梯度法 3.4无约束多维问题优化方法 ， 基本思想： 构造一个对称正定矩阵 来代替 ，并在迭代过程中使 逐渐逼近 。 特点： 简化了牛顿法的计算，保持了牛顿法收敛快的优点。 4.变尺度法 3.4无约束多维问题优化方法 5.坐标轮换法 基本思想： 每次仅对多元函数的一个变量沿其坐标轴进行一维探索，其余各变量均固定不动，并依次轮换进行一维探索的坐标轴，完成第一轮探索后再重新进行第二轮探索，直到找到目标函数在全域上的最小点为止。 目的：将一个多维的无约束最优化问题，转化为一系列的一维问题来求解。 3.4无约束多维问题优化方法 5.坐标轮换法 特点： 计算简单、概念清楚、易于掌握；但有哪些信誉好的足球投注网站路线较长（需要经过多次曲折迂回的路径才能达到极值点），计算率较低，特别是当维数很高时很费时，所以坐标轮换法只能用于低维（n10）的优化问题求解。此外，坐标轮换法的效率在很大程度上取决于目标函数的性态，也就是等值线的形态与坐标轴的关系。 3.4无约束多维问题优化方法 第三章 优化设计 约束问题的优化方法 5 *约束优化问题的数学模型 *约束优化问题有解的条件 目标函数和约束函数为连续、可微函数，且存在一个有 界的可行域； (2) 可行域应是一个非空集，即存在满足约束条件的点列： 约束问题的优化方法 *约束优化问题的解法 直接解法： 仅含不等式约束的问题 等式约束函数不是复杂的隐函数，且易于消元 随机方向法、复合形法 间接解法： 同时具有等式和不等式约束的优化问题 惩罚函数法 约束问题的优化方法 *直接解法 基本思想： 在可行域内按照一定的原则直接探索出最优点。 步骤： 在m个不等式约束条件所确定的可行域内，选择一个初始点x0，然后决定可行的有哪些信誉好的足球投注网站方向d，再以适当的步长α，沿着d方向进行有哪些信誉好的足球投注网站，得到一个使目标函数值下降的可行的新点x1，这就完成了一次迭代。接着以新点x1为起点，重复上面的有哪些信誉好的足球投注网站过程，满足收敛条件后，终止迭代。 可行的有哪些信誉好的足球投注网站方向 约束问题的优化方法 ①由于整个求解过程都是在可行域内进行的，所以，迭代计算 无论何时终止，都可获得一个比初始点更好的设计点； ②若目标函数是凸函数，可行域是凸集，则可保证获得全域最 优解。 ③要求可行域为有界的非空集，即在有界可行域内存在满足全 部约束条件的点，且目标函数有定义。 *直接解法的特点 约束问题的优化方法