最优化设计-2.pptVIP

最优化设计/优化设计的数学基础 第二章 优 化 设 计 的 数 学 基 础 2-1 多元函数的方向导数与梯度 2-2 多元函数的泰勒展开 2-3 无约束优化问题的极值条件 2-4 凸集、凸函数与凸规划 2-5 等式约束优化问题的极值条件 2-6 不等式约束优化问题的极值条件 * * §2-1 多元函数的方向导数与梯度 (1) 一、方向导数 方向导数的特例。图2-1和图2-2表明在二维和三维空间中 方向导数与偏导数的数量关系。n元函数 f(x1, x2, …, xn)在x0处沿d方向的方向导数为 是函数f(x) 在x0处沿d方向的方向导数。偏导数是 式中?i 为d方向和坐标轴xi方向之间夹角的余弦。 二、二元函数的梯度 二元函数f(x1, x2)在x0处的梯度定义为： §2-1 多元函数的方向导数与梯度 (2) 图2-3表明梯度方向与等值线的关系。梯度方向是等值面的法线方向，也是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。梯度?f(x0)方向是函数变化率最大的方向，即最速上升方向；负梯度-?f(x0)方向为最速下降方向。 例2-1（图2-4） 梯度方向用其单位向量 p 表示： §2-1 多元函数的方向导数与梯度 (3) 三、多元函数的梯度 将二元函数推广到多元函数，则函数f(x1, x2, …, xn)在 x0(x10, x20, …, xn0) 处的梯度可定义为 而梯度 ?f(x0) 的模为 梯度方向用其单位向量 p 表示为： 图2-5表明梯度方向与等值面的关系。梯度方向与函数等直面 f(x) = c 相垂直。 §2-2 多元函数的泰勒展开 (1) 一元函数 f(x) 在 x=x0 点处的泰勒展开式为 式中 ?x ? x-x0 ，?x2 =(x-x0)2 。 二元函数 f(x1, x2) 在x0(x10, x20 )点处的泰勒展开式为 式中 ?x1 ? x1-x10 ，?x2 ? x2-x20 。 上式的矩阵形式为 其中 §2-2 多元函数的泰勒展开 (2) 海赛(Hessian)矩阵G(x0)是 f(x)的二阶偏导数组成的对称矩阵。 例2-2 (图2-6) 求二元函数 f(x1, x2) = x12+ x22?4x1 ? 2x2+5 在 x0 = [2 1]T 处的二阶泰勒展开式。 f(x10 , x20) = 4 + 1 ? 8 ? 2 + 5 = 0 由于函数的二次连续性，有 。 §2-2 多元函数的泰勒展开 (3) 这是一个以 x0 点为顶点的旋转抛物面，如图2-6所示。 将二元函数的泰勒展开式推广到多元函数时，则有 (2-5) 式。 许多优化算法取到泰勒展开式的二次项，使目标函数表现为二次函数。 正定矩阵： 对任何非零向量 x，使 f(x)=xTGx?0，则二次型函数f(x)正定，G 为正定矩阵。 例2-2 (续) §2-3 无约束优化问题的极值条件 (1) 一元函数 f(x)在 x=x0 取得极值的必要条件为f’(x0)=0。 二元函数 f(x1, x2)在 x=x0(x10, x20) 取得极值的必要条件为f(x1, x2)的偏导数为零，即 即 ?f(x0) = [0 0]T 充分条件：海赛矩阵G(x0)正定，即一、二阶主子式均大于零。 例2-3 求函数 f(x1, x2 )=x12+x22? 4x1? 2x2+5 的极值。 根据必要条件，令 求得驻点为: x0=[x10 x20]T=[2 1]T §2-3 无约束优化问题的极值条件 (2) 例2-3 (续） G(x0) 的一阶主子式和二阶主子式分别为 ? 0 ? 0 因对于复杂的目标函数，海赛矩阵不易求得，故多元函数的极值条件在优化方法中仅具有理论意义。 ? G(x0)正定。 f(x0)= 0 任取一点 (0, 0) 代入 f(x)，f(0, 0) = 5 ? f(x0)。 ? x0 = [2 1]T 是极小点，f(x0)= 0 是极小值。 §2-4 凸集、凸函数与凸规划 (1) 局部最优点与全局最优点 局部最优点具有局部的性质，只是对它的邻域或局部区域而言是最优。而全局最优点是所有局部最优点中的最好点。任何一个工程优化问题当然希望找到全局最优点，但目前这是一个尚未完全