2.优化理论基础.ppt

机械优化设计第二章 长江大学机械工程学院(HQS) 第二章 优化设计的理论与数学基础 §2-1 函数的Taylor 展开式 二.多元函数的Taylor展开式 §2-2 二次齐次函数 * 矩阵A为正定的充要条件--A的各阶主子式均大于零。 §2-3 关于优化方法中有哪些信誉好的足球投注网站方向的理论基础 2.方向余弦 3.方向导数的计算 从上式可得出如下结论： （2）过同心椭圆族的中心作任意直线与椭圆族中任意两椭圆相交，再过两交点所作相应椭圆的切线必相互平行。 二）共轭方向的基本概念 2)共轭方向的性质 三）构成共轭方向的方法 §2-4 凸集与凸函数 2.凸函数的基本性质 §2-5 最优化问题的极值存在条件 2.5.2 约束问题有最优解的必要条件 二.有约束最优解的一阶必要条件 （2）IP型 (3)GP型 * 1）多元函数的Taylor展开式 2）二次型函数 3）关于优化方法中有哪些信誉好的足球投注网站方向的理论基础 4）凸集与凸函数 5）最优化问题的极值存在条件 * 在实际计算中,常取前三项(二次函数)来近似原函数: 式中, 一.一元函数的Taylor 展开式 (1) (2) (3) 梯度 海赛(Hessian)矩阵 对称矩阵 故 解： 例：将函数 写成在点 处泰勒展开式的矩阵形式。 例： 系数矩阵 如 为正定，则必有： 1.方向导数 一.函数的最速下降方向 2.梯度 二.共轭方向 1.正定二次函数 2.共轭方向的基本概念 3.构成共轭方向的方法 1. 定义--函数沿指定方向 的平均变化率的极限。 一) 方向导数 2.3.1 函数的最速下降方向 二）梯度 令 于是 单位矢量 最优点 * 最速下降只是局部性质. 4）在与梯度垂直的方向（等值线的切线方向）上，函数的变化率为零。 2）梯度的模是最大的方向导数, 负梯度方向是函数的最速下降方向； 1）方向导数是梯度在指定方向上的投影； 3）最速下降方向为等值线（面） 的法线方向； 2.3.2 共轭方向 *当n=2时， 1）矩阵表示 一）正定二次函数 也适于多元函数 2)正定二元二次函数的特点 ⅱ) F=f 时有极小.此时椭圆缩为一点,即椭圆中心. ⅰ) F只影响椭圆的大小,不影响其中心位置---同心; ②椭圆方程经坐标轴平移和转动后可去掉一次项和交叉项, 故写成下述形式不失一般性: ①因函数为正定，故A为正定，即： 由于判别式0，无论F(X)取何值,所得方程均为椭圆方程. 证： （1）正定二元二次函数的等值线是一族同心椭圆，其中心坐标就是该函数的极小点。 为常量,说明该直线上各椭圆的斜率均相等. 逆命题: 设两平行线与同心椭圆族中两椭圆分别相切于 点,则过 的直线必通过椭圆族的中心. 设过中心的直线为 , 代入上式得: 就上式对 求导: 证: * 几何意义: 经过线性变换A后成了与 正交的向量. 例： 设A为n*n阶正定对称矩阵， 是两个n维向量，若存在 则称 对A共轭。 1)定义 * 这种性质称为有限步收敛性（亦称二次收敛性） （2）从任意选定的初始点出发，只要依次沿n个共轭方向进行一维有哪些信誉好的足球投注网站，一轮后便可达到n元正定二次函数的极小点。 (证明见席少霖:《最优化方法》，P97） （1）若矢量系 彼此对正定对称矩阵A共轭，则它们组成线性无关的矢量系； 设 为平行于 的两条直线，则过这两直线上正定 n元二次目标函数的极小点 的向量 和 对Hession矩阵A共轭。 证明： 二次函数 其梯度为 因 分别为两直线上的极小点，故有 将上述两式相减 再从 出发，沿 有哪些信誉好的足球投注网站得 2）取初始点 ，沿 方向有哪些信誉好的足球投注网站 解： 1） 例：对于目标函数 ，给定 ，试求出与 共轭的方向 ，并求出目标函数的极小点。 X X2 X1 凸集 非凸集 凹集 *若X是X1和X2连线上的点，则有 2·4·1凸集--- 若任意两点 ，对于