第2章(基本概念).pptVIP

二. 梯度 梯度的性质： ① 梯度是 X(0)点处最大的方向导数； ② 梯度的方向是过点的等值线的法线方向； ③ 梯度是X(0) 点处的局部性质； ④ 梯度指向函数变化率最大的方向； ⑤ 正梯度方向是函数值最速上升的方向， 负梯度方向是函数值最速下降的方向。 二. 梯度 对于 n 维问题的梯度 梯度向量模为： n 维函数 f(x) 在 x(k) 点的台劳展开式: 二阶近似式： 其中：增量 Δ x (k) =[Δx1 (k) , Δx2 (k) ,…, Δxn (k) ]T 梯度 Hesse 矩阵 三. Hesse 矩阵与正定 三. Hesse 矩阵与正定 Hesse 矩阵的特性：是实对称矩阵。 矩阵正定的充要条件： 各阶主子式 A＞0 当主子式 A≥0 时，矩阵半正定 A0(负正相间)时，矩阵负定 A≤0 时，矩阵半负定 Hesse 矩阵的正定性： H(x*)正定， 是 x* 为全局极小值点的充分条件； H(x*)半正定, 是 x* 为局部极小值点的充分条件； H(x*)负定， 是 x* 为全局极大值点的充分条件； H(x*)半负定, 是 x* 为局部极大值点的充分条件。 正定的二次函数：曲面为椭圆抛物面； 等值线族为椭圆曲线族，椭圆中心为极小值点。 解 在优化设计中二次函数具有重要地位，对二维二次函数 设： 凸集： 设 D为欧氏空间Rn 中X的集合，即 D∈Rn, X∈D，若D域内任意两个点x(1)，x(2)的连线上的各点都属于 D域，则的集合 D称为 Rn 内的一个凸集。否则，为非凸集。 凸函数： f(x)是定义在 n 维欧氏空间中，凸集上的函数，同时x(1)∈D，x(2)∈D，ξ∈[0,1]，当下式成立时， 则称f(x)为定义在凸集D上的凸函数。 f [ξx(1) +(1-ξ)x(2) ]≤ξf(x(1)) +(1-ξ) f( x(2) ) 当上式中的”≤”为”＜”时，f(x)是严格凸函数。 四. 函数的凸性 四. 函数的凸性 判别函数为凸函数的凸性条件： 按梯度判断凸性：设f(x)是定义在凸集 D上具有连续一阶导数的函数，则f(x)在D上为凸函数的充要条件是：对于任意的 x(1),x(2)∈D 都有 成立。 按二阶偏导数判断凸性：设 f(x) 是定义在凸集D上具有连续二阶导数的函数，则f(x)在D上为凸函数的充要条件是：f(x)的Hesse矩阵处处半正定。若Hesse矩阵处处正定，则f(x)为严格凸函数。 凸函数的基本性质： 若f(x)是定义在凸集D上的严格凸函数，则f(x)在D上的一个极小点，也就是全局最小点。 凸函数的线性组合仍然为凸函数。 设x(1), x(2)为凸函数 f(x)上的两个最小点，则其连线上的任意点也都是最小点。 四. 函数的凸性 一. 优化设计最优解 无约束优化设计问题最优解： 约束优化设计问题最优解： 不受约束条件限制，使目标函数达到最小值的一组设计变量，即最优点 x*=[x1*,x2*,…,x n*] 和最优值 f(x*)构成无约束问题最优解。 满足约束条件，使目标函数达到最小值的一组设计变量， 即最优点 x*=[x1*,x2*,…,x n*] 和最优值 f(x*)构成约束问题最优解。 二. 有约束问题最优点的几种情况 无适时约束 x (k) 为最优点x*的条件： 必要条件： 充分条件： Hesse矩阵 H(x(k)) 是正定矩阵 · X* 目标函数是凸函数，可行域是凸集，则最优点是内点。相当于无约束问题的最优点。 二. 有约束问题最优点的几种情况 有适时约束 · f (x) · x* 目标函数是凸函数,可行域是凸集，则目标函数等值线与适时约束曲面的切点为最优点，而且是全局最优点。 二. 有约束问题最优点的几种情况 有适时约束 目标函数是非凸函数（图 a），或可行域是非凸集（图 b）： 则目标函数等值线与适时约束曲面可能存在多个切点，是局部极值点，其中只有一个点是全局最优点。 p Q Q p 三. K-T ( Kuhn-Tucker 库恩-塔克) 条件 ——有适时约束时获得最优解的条件 1. 有一个适时约束时： 与x(k)点目标函数的负梯度方向成锐角，即沿 S 方向目标函数值下降； 与x(k)点约束函数的梯度方向成钝角，即保证 S方向上各点在可行域内。 从数学上定义，当从 x(k)点出发不存在一个 S 方向能同时满足：