[数学]最优化方法.pdf

基 础 知 识 一.引言 二.极值最优化问题的经典方法 三.最优化问题实例 四.最优化问题及基本概念 五.梯度与Hesse阵 六.Taylor展开式 七.凸集与凸函数 八.极小点的判定条件 九.算法及相关概念 十.中止条件 十一.收敛速度 一. 引言 1. 最优化定义 最优化是从所有可能方案中选择最合理方案以达到最优目 标的一门学科。 （1）达到最优目标的方案：最优方案（最优解） （2）搜寻最优方案的方法：最优化方法 最优化问题：寻求某些变量的取值使其符合某些限制条件， 并使某个目标函数达到最大值或最小值的问题。 一般的数学形式为： min ( ) f x . .  s t x D y 其中D 为可行域。 2 2 例. zminx y  s t x .y.   0 D O x 2 2 z x y  min x y 0 s t x y D x y x y    . . ( , ) {( , ) | 0} 2.包含内容： 最优化又称数学规划： LP、NLP、DP、IP   无约束问题  单目标静态问题有约束问题线性规划    非线性规划  动态问题 最优化问题 多目标     二. 极值最优化问题的经典方法 1.求驻点的方法  ( )(1) ( ) 0 f x f x min x R n   f  x1 0     f x 0