第一次最优化方法.ppt

3. 凸函数的性质 定理5. 凸函数的局部极小点就是全局极小点。 证明: 4. 凸函数的判断条件 定理6. 则它是凸集X上的凸函数的充要条件是 . 证明： 定理7.设 在开凸集X上有二阶连续偏导数，则 是凸 函数的充要条件是 ，有 半正定。 例：正定二次函数 ，其中 是正定矩阵。 例： 证明： 不等式左端二次泰勒展开即得。 5. 凸规划 （1） 其中 是凸函数， 是凸集。 （2） 其中 是凸函数， 是线性函数。 凸规划的局部极小点就是全局极小点. P24—P25 3. 5. 15 * 最优化理论与算法---绪论 李改弟 应用数理学院 ligd@ 最优化研究什么？ 有选择的地方就有优化：田忌赛马 讨论在众多的方案中什么样的方案最优以及怎样找出最优方案 城建规划：如何安排工厂、机关、学校、商店、医院、住户和其他单位的布局，方能方便群众，利于城市的房展 食谱问题：保证营养要求条件下最经济 课本与教辅材料： 陈宝林，最优化理论与算法(第二版)，清华大学出版社 刘红英，数学规划基础，北京航空航天大学出版社，2012 David G. Luenberger, Yinyu Ye, Linear and nonlinear programming, Third Edition, Springer press， 2008 优化的数学描述与例子 目 标：系统性能的一种“量的度量”(利润、时间、势能)－－任何数量或某些量的组合－－数 变 量：目标所依赖的系统的“某些可控的特征” 约束条件：经常变量以某种方式受限制(分子中电子密度的量、贷款利率的量，不能是负的)－－--- 优化问题的一般模型－－数学规划问题 优化建模(modeling)：识别出给定问题的目标、变量和约束的过程。 建立恰当模型：第一步、最重要的一步(太简单－不能给实际问题提供有用的信息；太复杂－不易求解) 选择特定算法：很重要--决定求解速度及质量(无通用优化算法，有求解特定类型优化问题的算法) 优化实例１：运输问题(transportation problem) 背 景：化学制品公司考虑某种产品的产销问题. 数　据： 问　题：确定从每个工厂运送到每个销地的产品 　　　　数量，使其满足需求，同时极小化费用 变 量： 的产品数量 目标函数： 产量约束： 销量约束： 非负约束： 问题中目标和约束函数都是线性函数, 称此类型的问题为线性规划问题. 优化实例2：选址问题(facility location problem) 已知： 目标：确定货栈的位置，使各货栈到各市场的运输量 与路程乘积之和最小。 变量： 货栈的容量 市场的需要量 目标函数和约束函数至少有一个是非线性函数， 此为非线性规划！ 1.2 最优化问题的分类与特征 某些或全部变量取整数值才有意义--整数规划 (IP). (上述运输问题中，工厂生产拖拉机而非化学产品). 分为整数线性规划和整数非线性规划；整数规划和混合整数规划；一般整数规划和0-1整数规划 简单松弛策略. 忽略整数要求，当成实变量来求解问题，然后将所有分量舍入到最近的整数--可给出问题的界.Lagrange松弛策略. 整数规划属NP难问题. 常用算法：分支定界法、或其他启发式算法(求解一系列连续优化问题) 连续与离散 约束与无约束 　　无约束优化肯定是非线性的、约束优化又分线性规划 和非线性规划 局部与全局 单目标与多目标 随机与确定 有的问题进行优化建模时，模型与一些不能提前确定的参数有关(运输问题中，零售市场的需求在实际中不能够精确确定. 许多经济和金融规划模型也具有该特征, 那里经常与未来的利息率和经济的未来趋向有关). 　　多目标规划最重要的是Perato解/有效解的概念；一般 可用标量化方法求Perato解 优化问题的简单分类与求解难度 问题的求解难度依次增加！ 1.3 优化算法和优化软件 迭代法 从最优解的某个初始猜测出发，生成一个提高的估计序列，直到达到一个解. 大部分利用目标函数和约束，可能还有这些函数的一阶和二阶导数. 通常收敛到 (无约束问题)驻点或者 (约束问题)KKT点(极大点、极小点或鞍点). 如果问题是凸规划，则可确保算法收敛到全局极小点. ◎ 优化算法 AMPL: A Modeling Language for Mathema-tical Programming Lindo/Lingo软件(\verb Matlab优化工具箱(见姜启源等编的《数学实验》,高教出版社) Cplex 其它(Mathematica, Minos, Excel等的优化功能). ◎ 优化软件 课程主题 介绍线性与非线