[数学]第二章 优化方法的数学基础.ppt

例2-4：求目标函数f（X）= 的梯度和Hessian矩阵。 解：因为 则 故Hessian阵为： 例2-5 求函数 的极值。 解：根据极值的必要条件求驻点 得驻点 再根据极值的充分条件，判断此点是否为极值点。由于 其各阶主子式均大于零，H(x*)为正定矩阵，故X*=[2,4]T为极小点，极小值为F(X*)= -13。 §2-4 有约束优化问题的极值条件 不等式约束的多元函数极值的必要条件是著名的库恩--塔克（Kuhn-Tucker）条件，它是非线性优化问题的重要理论 1 库恩—塔克条件 (K-T条件） 对于多元函数不等式的约束优化问题： K-T条件可阐述为： 若 是一个局部极小点，则该点的目标函数梯度 可表示成诸起作用约束面梯度 的线性组合的负值. 即 (2-17) ——在设计点处的起作用约束不等式约束面数； ——非负值的乘子，也称为拉格朗日乘子。 式中 O x1 x2 极值点处于等值线的中心 极值点处于两个约束曲线的交点上 x﹡ g1 (x)＝0 g2 (x)＝0 g3 (x)＝0 O x1 x2 x﹡ g1(x)＝0 g2(x)＝0 2 有约束问题最优点的几种情况: 有作用约束 目标函数是凸函数,可行域是凸集，则目标函数等值线与作用约束曲面的切点为最优点，而且是全局最优点。 1. 无作用约束 目标函数是凸函数，可行域是凸集，则最优点是内点。相当于无约束问题的最优点。 x (k) 为最优点x*的条件： 必要条件： 充分条件： Hessian矩阵 H(x(k)) 是正定矩阵 · · X* f (x) · x* 库恩—塔克条件的几何意义是: 在约束极小值点 x*处， 函数F (x) 的负梯度一定能表示成所有起作用约束在该 点梯度（法向量）的非负线性组合。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 对于目标函数和约束函数都是凸函数的情况， 符合K-T条件的点一定是全局最优点。这种情况K-T条件即为多元函数取得约束极值的充分必要条件。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 例2-6 库恩—塔克（K-T）条件应用举例 s.t 判断[1 0]T是否为约束最优点。 (1)当前点 为可行点，因满足约束条件 (3) 各函数的梯度： （2）在 起作用约束为g1和g2 , 因 （4）求拉格朗日乘子 由于拉格朗日乘子均为非负，说明 是一个局部最优点，因为它满足K-T条件。 s.t 例2-7 对于约束极值问题 s.t. 试运用K-T条件验证点 为约束极值点。 解：图例2-7给出了由g1(x)=0、 g2(x)=0、 g3(x)=0、及所确定的可行域，同时给出了的几条等值线。 可见起作用的约束函数是 和 1. 计算点 的各个约束函数值 例２-7约束极值问题 2、求相关函数在 点的梯度 3、将梯度代入判别公式，求拉格朗日乘子 即 均为非负，满足K-T条件，因此 同时，由于 是凸函数，可行域是凸集，因此点 也是全域最优点。 为约束极值点。 和 设约束优化问题 (课堂练习) 它的当前迭代点为 =[1,0]T，试用K—T条件 。 判断它是否为约束最优点 解： 点的诸约束函数值 点是可行点。 点的起作用约束是： 1 计算 2求 3求 点的诸梯度 4求拉格朗日乘子 写成线性方程组 解得： 乘子均为非负， =[1,0]T满足约束最优解的一阶必要条件。 由于F(X)是凸函数，可行域为凸集，所以点 也是该问题的全局最优解。 第二章 优化方法的数学基础 §2-1 方向导数与梯度 §2-2 凸集、凸函数与凸规划 §2-3 无约束优化问题的极值条件 §2-4 有约束优化问题的极值条件 §2-1 方向导数与梯度 一、函数的方向导数 一个二元函数F(x1,x2)在X0点处的偏导数定义为: 分别是函数在点X0处沿坐标轴方向的变化率. 函数