第二章优化设计的理论和数学基础.ppt

第二章 优化设计的理论与数学基础 1、一元函数f(x)在k点的泰勒展开式 f(x)=f(x(k))+ f’(x(k))(x- x(k))+ f”(x(k)) (x- x(k))2/2! 2、多元函数f(x)在k点的泰勒展开式及海赛（Hessian)矩阵 F(x)=F (x(k))+ ? FT? [x- x(k)]+ [x- x(k)]T ? 2F ? [x- x(k)]/2 梯度 ? F = 海赛矩阵 H(x)= ? 2F = 3、二次型函数 F(x)=xTAx 对于二次函数F(x)=xTAx。若对于任意不为零的 x=[x1,x2,…,xn],恒有F(x)0,则相应的系数矩阵A称为正定矩阵。 若恒有F(x) ≥ 0,则称A为半正定矩阵。 2.2 目标函数的等值线（面） 设n维目标函数F(x)=F(x1,x2,…,xn),在n维设计空间的任意一点x有确定的函数值F; 反之，对于某一确定的函数值将有若干个设计点xi(i=1,2,…)与之相应。如果是连续问题，将有无限多个确定的设计点对应同一个函数值，则这些设计点在设计空间中构成的点集称为等值面（三维空间）、超等值面（四维以上）。对于二维问题，则称等值线。 2.3 无约束优化最优解的条件 一、一元函数极值条件 对于连续可微的一元函数f(x),如在x*点有极值，其必要条件为： f ’(x*)=0 若x*为有极小值点，其充分条件为： f ”(x*)0 二、二元函数极值条件 对于连续可微函数F(x)=F(x1,x2)在x*点有极 值，其必要条件为： F(x*)=Θ 三、多维函数极值条件 对于连续可微函数F(x)=F(x1,x2，…, xn)在x*点有 极值，其必要条件为： F(x*)=Θ 当海赛矩阵正定时，点x*为极小值 2.4 凸集与凸函数 2.4.1凸集与非凸集 2.4.2 凸函数 一、凸函数的数学定义: 若F(x)满足： 则称F(x)为定义在凸集上的凸函数 二、凸函数的基本性质 1）若F(x)为凸函数，则λF(x)也是凸函数。λ为任意正实数。 2) 若F(x1)、 F(x2)为凸函数，则F(x1)+F(x2) 也是凸函数。 3) 若F(x1)、 F(x2)为凸函数，则αF(x1)+βF(x2) 也是凸函数。 三、凸函数的判别法：海赛矩阵半正定 四、局部极小点与全局极小点 包括无约束优化与约束优化问题在内，用优化方法所求出的点一般都是局部极小点，称为局部最优点；而我们所需要的是整体极小点，称为全局最优点。 2.5 关于优化方法中搜寻方向的理论基础 对任何一个优化方法的研究都离不开初始点x(0) 的选取、搜寻方向S的确定以及步长a的确定。或 称初始点x(0)、搜寻方向S以及步长a为优化方法 的三要素。而尤以搜寻方向S为关键,它是优化方 法特性以及优劣的根本标志。不同的优化方法取 不同的方向S，它是矢量，在n维优化方法中, S=[S1 S2 … Sn]。以下说明产生搜寻方向的 数学理论基础。 2.5.1函数的最速下降方向 * * 2.1 目标函数的泰勒（Taylor)展开式 由目标函数的等值线上可大致的看出函数的变化情况，而三维以上的超等值面是不能画出来的。为了确切表达函数在某一点的变化形态则要用微分的办法具体分析。 一、方向导数 导数是描写函数变化率的一个量。设有连续可微的n维目标 函数F（x） F（x）在点 的一阶偏导数为 ，……， 它们分别表示函数F（x）在点 沿各座标轴方向的变化率。 以二维函数F（x）为例，见图。从 点，沿某一方向 （与ox1，ox2轴夹角分别为 ， ）前进到点 其增量 其模长 函数F（x）在 点沿S方向的方向导数为 或记为 方向导数 表示函数F（x）在点 沿S方向的变化率。图中，过o， 两点连线所竖立的垂直 平面与函数F（x）曲面交线mm，该曲线在k点的斜率即为 函数F（x）沿S方向的导数。 沿S方向的导数为 n维函数F（x）在点 ……+ 式中， 为方向S和各座标轴的夹角。称cos ，cos ，……，cos 为矢量S的方向余铉。 上式可简写为 或 …… ⑴ …… 为函数F（x）在点 的梯度，记作gradF（ ）， 矢量的模长为 简记为 定义矢量： ⑵ 是方向S的