[工学]第二章 优化设计的数学基础.ppt

2、拉格朗日乘子法（升维法） §2.5 等式约束优化极值条件 l+n个方程 l+n个未知变量 例:用拉格朗日乘子法求下列问题的最优解 解 构造拉格朗日函数 令▽L=0,得到 求解得： 一、一元函数在给定区间上的极值条件 §2.6 不等式优化极值条件 引入松弛变量a1,b1，将不等式约束变成等式约束。 根据拉格朗日乘子法，此问题的极值条件： §2.6 不等式优化极值条件 二 、库恩－塔克条件： §2.6 不等式优化极值条件 J代表所有起作用的约束 在约束的极小值处，函数f(x)的负梯度方向一定能表示成所有起作用约束在该点梯度的非负线性组合 库恩－塔克条件的几何意义 §2.6 不等式优化极值条件 Xk为最优点 Xk不是最优点 K-T条件的作用： 判别边界设计点 x(k) 为最优点的依据 作为约束优化的收敛条件。 本章结束 Thank You！ 第二章优化设计的数学基础 2.1 多元函数的导数与梯度 2.4 凸集、凸函数与凸规划 2.2 多元函数的泰勒展开 2.3 无约束优化极值条件 2.5等式约束优化极值条件 2.6 不等式约束优化极值条件 §1.1 多元函数的导数与梯度 一、方向导数 二元函数f(x1，x2)在x0的偏导数为： 分别表示沿坐标轴x1和x2方向在x0处的f(X)变化率。 f(X)在x0点沿d方向的方向导数: §1.1 多元函数的导数与梯度 表示沿d方向在x0处的f(X)变化率。 n维函数f(X)在x0点沿d方向的方向导数: §1.1 多元函数的导数与梯度 二、梯度 对于二维函数f(X)在X0点处的梯度: 设 为d方向的单位向量，则有 §1.1 多元函数的导数与梯度 即 §1.1 多元函数的导数与梯度 方向导数最大值发生在 : 结论: d方向取梯度方向时,函数值的变化率最大。 可见梯度方向是函数值变化最大的方向 §1.1 多元函数的导数与梯度 进一步推导到n维: 沿d方向的方向向量 即 §1.1 多元函数的导数与梯度 梯度重要性质： ① 梯度是 X(0)点处最大的 方向导数； ② 梯度方向是过点的等值 线的法线方向； ③ 梯度是X(0)点处的局部 性质； ④ 梯度指向函数变化率最 大的方向； ⑤ 正梯度方向是函数值最 速上升的方向，负梯度 方向是函数值最速下降 的方向。 §1.1 多元函数的导数与梯度 例:求函数 在点[3,2]T 的 梯度。 在点x(1)=[3,2]T处的梯度为： 解： §1.1 多元函数的导数与梯度 例：试求目标函数 在点 处 的最速下降方向，并求沿这个方向移动一个单位长度后新 点的目标函数值。 函数在 处的最速下降方向是 解： 由于 §1.1 多元函数的导数与梯度 新点是 这个方向上的单位向量是： §1.1 多元函数的导数与梯度 §1.2 多元函数的泰勒展开 一元函数泰勒展开: 二元函数泰勒展开: §1.2 多元函数的泰勒展开 二元函数泰勒展开矩阵形式: 其中: 称为海赛（Hessian）矩阵 §1.2 多元函数的泰勒展开 n元函数泰勒展开矩阵形式: §2.3 无约束优化问题的极值条件 一元函数极值条件: 必要条件 极小值 极大值 偶次阶导数不为零为极值点 奇次阶导数不为零为拐点 §2.3 无约束优化问题的极值条件 二元函数极值必要条件: 即: 二元函数极值充分条件:海塞矩阵各阶主子式均大于零。 §2.3 无约束优化问题的极值条件 求函数 的极值 解 ：1）根据极值的必要条件求驻点 2）利用海塞矩阵判断驻点是否为极值点 §2.3 无约束优化问题的极值条件 一阶主子式： 二阶主子式： 为极值点， 为极值 §2.3 无约束优化问题的极值条件 n元函数极值充分条件:海塞矩阵为正定。 函数f(X)在X*附近的一切X均满足不等式 函数f(X)在X*处取得局部极小值，称X*为 局部极小点。 而优化问题一般是要求目标函数在某一区域内的全局极小点。 §2.4 凸集、凸函数与凸规划 一、凸集 一个点集（或区域），如果连接其中任意两点的线段都全部包含在该集合内，就称