第2章 优化方法的数学基础GAIshang.ppt

第二章 优化设计的数学基础 §2-1 多元函数的方向导数与梯度 §2-2 多元函数的泰勒Taylor展开 §2-3 无约束优化问题的极值条件 §2-4 凸集、凸函数与凸规划 §2-5 等式约束优化问题的极值条件 §2-6 不等式约束优化问题的极值条件 §2-1 方向导数与梯度 n元函数在点x0处沿s方向的方向导数 二、 梯度 二元函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 例题 2-1 二.多元函数的泰勒展开式 §2-4 凸集、凸函数与凸规划 一、 多元函数的泰勒展开 多元函数泰勒展开 一个判断二次函数为凸函数的简单办法： 如果该函数的HESSEN矩阵为正定，则该函数为凸函数。 例题: 二、无约束优化问题的极值条件 2. 处取得极值充分条件 §2-5、6 有约束优化问题的极值条件 （1）库恩—塔克条件 (K-T条件） 对于多元函数不等式的约束优化问题： K-T条件 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 凸函数的一些性质： 1）若 f（X）为定义在凸集D上的一个凸函数，且 a是一个正数（a 0），则 af（X）也必是定义在凸集D上的凸函数； 3）若f1(X），f2(X)为定义在凸集D上的两个凸函数，α和β为两个任意正数，则函数 afl（X）＋βf2(X)仍为D上的凸函数。 2）定义在凸集D上的两个凸函数f1(X），f2(X)，其和 f（X）=f1（X）十f2（X）亦必为该凸集上的一个凸函数。 4）若f（X）为定义在凸集D上且具有连续一阶导数的函数，则f（X）为凸函数的充分必要条件为： 对任意两点X（1），X（2），不等式 恒成立 三、凸规划 对于约束优化问题 式中若F（X）、 均为凸函数，则称此问题为凸规划。 凸规划的一些性质： 2）凸规划问题中的任何局部最优解都是全局最优解； 1）可行域 为凸集； 3）若F（X）可微，则X*为凸规划问题的最优解的充分必要条件为： 对任意 ，对满足 不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实现。因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。 注意： 外，最简单最重要的一类就是二次函数。 在n元函数中，除了线形函数： 或 f(X)=aX+c §2-3补充内容 二次函数及正定矩阵 其向量矩阵表示形式是： 二次函数的一般形式为： 其中 Q= b= Q为对称矩阵 其中 均为常数。 在代数学中将特殊的二次函数 称为二次型。 对于二次函数，我们更关心的是Q为正定矩阵的情形。 定义：设Q为n×n对称矩阵 若 ，X≠0 ，均有 ＞0 ，则称矩阵Q是正定的。 若 ，X≠0 ，均有 ＜ 0 ，则称矩阵Q是负定的。 一个n×n对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。 一个n×n对称矩阵Q是负定矩阵的充要条件是矩阵Q的各阶主子式的值负、正相间。 解：对称矩阵Q的三个主子式依次为： 因此知矩阵Q是正定的。 例：判定矩阵Q= 是否正定 定理： 若二次函数 中Q正定，则它的等值面是同心椭球面族，且中心为 证明：作变换 ，代入二次函数式中： 根据解析几何知识，Q为正定矩阵的二次型 的等值面是以坐标原点 为中心的同心椭球面族。由于上式中的