-优化方法的数学基础.pptVIP

第2章 优化方法的数学基础 2.1 方向导数与梯度 1、方向导数 二元函数(定义可微)在点x0处沿某一方向S的方向导数 第2章 优化方法的数学基础 2.1 方向导数与梯度 第2章 优化方法的数学基础 2.1 方向导数与梯度 三元函数: n元函数在点x0处沿S方向的方向导数 ◆上式表明了方向导数与偏导数之间的数量关系 ◆方向导数是偏导数概念的推广 ◆方向导数表明了函数f(X)在点X(0)沿S方向的变化率，它是一个标量 + ? ? 函数f(X)在X(0)点处沿S方向是增加的 - ? ? 函数f(X)在X(0)点处沿S方向是减小的 2、梯度 二元函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 梯度 模： 函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。 由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。 例题2-1 求函数 在点[3,2]T 、 [2,0]T的梯度 解 在点x(1)=[3,2]T处的梯度为： 在点x(1)=[3,2]T处的梯度为： 在点x(2)=[2,0]T处的梯度为： ◆若函数在某点取得极值， 则该点的所有一阶偏导数 必定为零，即梯度为零 例题2-2 一般n元二次函数的矩阵式为 其中 C为常数，求梯度▽f(X)。 解：将二元二次函数矩阵式展开 2.2 多元函数的泰勒展开及海森矩阵 ◆ 复杂函数的极值问题，常用泰勒展开式得到目标函数在所讨论点的近似表达式，最常用的是线性近似和二次近似 n元函数在某点(至少二阶可导)展开到二次项 写成矩阵形式 f(X)的二阶导数矩阵，称为f(X)的海森(Hessian)矩 阵，海森矩阵是一个nXn的对称矩阵，常用H(X)表示 例题 2.3 无约束优化问题的极值条件 1.在 处取得极值，其必要条件是: 即在极值点处函数的梯度为n维零向量。 为了判断从上述必要条件求得的 是否是极值点，需建立极值的充分条件。 根据函数在 点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。 2. 处取得极值充分条件 2. 处取得极值充分条件 2．4 凸集、凸函数与凸规划 全局最优与局部最优 ??? 1、凸集 几何特征是：其任意两点连线上的一切点都位于这个集合内 2、凸函数 对凸集D内，任两点X(1)、 X(2)及0α1 f (X)为 凸函数 几何意义为：这两个点的连线完全处在f (X)曲线(曲面)的 上方，或在f (X)曲线(曲面)上 判定一个函数的凸性，可利用以下性质： f (X)为一阶连续导数， f (X)在凸集D上为凸函数的充分必要条件为 f (X)为二阶连续导数， f (X)在凸集D上为凸函数的充分必要条件为 H (X) 0 凸规划----对非线性规划 f (X)与g (X)均为凸函数?凸规划 ★ 凸规划的局部极小点一定是全局极小点 2.5 不等式约束优化问题的极值条件 不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件，它是非线性优化问题的重要理论 （1）库恩—塔克条件 (K-T条件） 对于多元函数不等式的约束优化问题： K-T条件 库恩—塔克条件的几何意义是: 在约束极小值点 处，函数 的负梯度一定能表示成所有起使用约束在该点梯度（法向量）的非负线性组合。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 （4）求拉格朗日乘子 由于拉格朗日乘子均为非负，说明 是一个局部最优点，因为它满足K-T条件。 s.t gggggggg * * 为函数f(