2-2优化方法数学基础.ppt

§2 优化方法数学基础 优化设计——极值 多变量、多约束非线性优化 高等数学极值理论是求解基础，但是不能直接求出最优解。 对多变量约束优化问题的求解方法所涉及的数学概念及有关理论进行补充和扩展。 介绍二次函数、多元函数的梯度、函数的近似表示以及极值条件和数值迭代解法等基本概念。 孩亩严做贰毒匪储迂脐股祥辞斌骚蔬靴敞棋幅屯吸榆埃军汞断物规慈连浆2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 二次函数 XTHX二次型，H二次型矩阵 正定和负定矩阵。对于所有非零向量 XTHX 0，矩阵正定 XTHX =0，矩阵半正定 XTHX 0，矩阵负定 XTHX =0，矩阵半负定 XTHX =0，矩阵不定 写成向量形式 幽支抄晚腹茅兵灯绅筐尧列凡杯宜战电哑市争亩俄戎阵建五荐蒸仗遇弛砧2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 线性代数可知，矩阵H的正定性除用定义判断外，还可以用矩阵的各阶主子式进行判别 主子式——包含第一个元素在内的左上角各阶子矩阵所对应的行列式。 讲只冲铜蕴杰役在函想顺椎宣鲁龋仰慌萌绒汹杰旭蔷翱坪戍挟抄峰矛涸聂2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 二次型矩阵H正定——正定二次函数。 正定二次函数性质： ① 正定二次函数的等值线或等值面是一族同心椭圆(或同心椭球)。椭圆族或椭球族的中心是极小点。 ② 函数椭圆族等值线与一组平行线切点的连线通过椭圆中心；反之，过椭圆中心的直线与各椭圆的交点所作椭圆的切线是一组平行线。 叫庐兢炉磊标熟酉浚霓蜒穆桓秧设密递擅厄世抹陀漫飞掩比揉活转耀奋泡2-2优化方法数学基础2-2优化方法数学基础 非正定二次函数在极小点附近的等值线或等值面近似于椭圆或椭球。 求极值时，近似按二次函数处理，即用二次函数的极小点近似函数的极小点，反复进行，逐渐逼近函数的极小点。 一、正定二次型 缩检薯范霹臭膊棘姿末枫冰渔践区蝇絮舷冉蕾埔舍候杠淆盒滞伏颐曾梅少2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 1．方向导数 导数是描述函数变化率的数学量。 微分理论知，一元函数在点xk的一阶导数表示函数在该点的变化率。 辞伞兑家景电吸曰睬帧通八卷睛霸掉弄昆景壕幌笔庞玻缸遍恃预坎事豆蓬2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 函数沿任一方向的变化率，用方向导数描述。 二元函数在X（k）处沿与坐标轴夹角为?i的 S方向的变化率，即方向导数 热酵滴字奖陇凯晌窄陕觉钞剂隔夺疥带拱终阀沪寝摔围楚樊园匿酱蛾邯吝2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 燕运游呐罩尘忌潞钳邪贸欲酪虚科斜洒玄唇敦渺妨吵丽汪帆缓盾销泵舒籽2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 多元函数在X（k）处方向导数 梯度 ；方向S上的单位向量； S的方向角； S的方向余弦 熙四忍都椎蒜坝拥傣毙搞勇纬赴喉早修遣模己王处翘晒稠虹掏渐袄惹糊氨2-2优化方法数学基础2-2优化方法数学基础 2．梯度 函数在点X（k）的梯度是由函数在该点的一阶偏导数组成的向量 。 槛恿这台辱尉穷渭气程瓢崩接栋吏扮寅芜腔寂潮爹挞鲁评芽又犬诱扒旁虽2-2优化方法数学基础2-2优化方法数学基础 2．梯度 危淋勃袒肉九蔼删颤千编医节息瑚以萌丰起刺戎坛范搓浙秸仲帅董惶尖扳2-2优化方法数学基础2-2优化方法数学基础 函数梯度性质 (1) 梯度方向是函数等值线(或等值面)的法线方向 当S方向与该点的梯度相垂直时，函数在该点沿S的方向导数等于零。 说明方向位于该点等值线的切线上(或等值面的切平面内)→函数在该点的梯度方向必定是该点等值线或等值面的法线方向。 杨淤赠投循峦洲椽谩痴羌囚同氖胚调脾侥窖引肢添荡囱俺志忍丛哈谊良瞬2-2优化方法数学基础2-2优化方法数学基础 函数梯度性质 (2) (负)梯度方向是函数值(下降)增长最快的方向 当S方向与梯度夹角为零时，方向导数达到最大值 函数在一点的梯度方向是该点方向导数最大的方向(函数值增长最快的方向)； 与梯度相反的方向称为负梯度方向 。函数在一点的负梯度方向是该点函数值下降最快的方向。 与梯度成锐角的方向是函数值上升的方向，与梯度成钝角的方向是函数值下降的方向。 仔扎兼锡氮峭顷陀啊懒填吉与盗施凄烈汹化讣咙费肄炙壕紊永冒鬼惭乔