优化方法的数学基础.pptxVIP

第2章 优化方法的数学基础;第2章 优化方法的数学基础; n元函数在点x0处沿S方向的方向导数 ◆上式表明了方向导数与偏导数之间的数量关系 ◆方向导数是偏导数概念的推广 ◆方向导数表明了函数f(X)在点X(0)沿S方向的变化率，它是一个标量 + ? ? 函数f(X)在X(0)点处沿S方向是增加的 - ? ? 函数f(X)在X(0)点处沿S方向是减小的 ;2、梯度;梯度的模： ; 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。;多元函数的梯度; 梯度 模： 函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。 由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。;例题2-1;在点x(1)=[3,2]T处的梯度为： 在点x(2)=[2,0]T处的梯度为： ◆若函数在某点取得极值， 则该点的所有一阶偏导数 必定为零，即梯度为零 ;例题2-2;◆若推广到n元二次函数，则一般n元二次函数梯度 的矩阵表达式为;2.2 多元函数的泰勒展开及海森矩阵; f(X)的二阶导数矩阵，称为f(X)的海森(Hessian)矩 阵，海森矩阵是一个nXn的对称矩阵，常用H(X)表示 ;例题; ;2.3 无约束优化问题的极值条件 ;2. 处取得极值充分条件;2. 处取得极值充分条件;2．4 凸集、凸函数与凸规划 ;2、凸函数;判定一个函数的凸性，可利用以下性质：;2.5 不等式约束优化问题的极值条件 ;库恩—塔克条件表明：如点 是函数 的极值点，要么 （此时 ） 要么目标函数的负剃度等于起作用约束梯度的非负线性组合（此时 ）;;库恩—塔克条件的几何意义是: 在约束极小值点 处，函数 的负梯度一定能表示成所有起使用约束在该点梯度（法向量）的非负线性组合。;同时具有等式和不等式约束的优化问题 :; K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。;;（4）求拉格朗日乘子;s.t