约束优化方法-1-——Zoutendijk可行方向法.pdf

约束优化⽅法_ 1_——Zoutendijk可⾏⽅向法 Zoutendij k可⾏性⽅法属于约束极值问题可⾏⽅向法中的⼀种。 之前⽆约束极值问题中的最速下降法、⽜顿法相像，可⾏⽅向法的策 略是 ：从可⾏点出发，沿着下降的可⾏⽅向进⾏有哪些信誉好的足球投注网站，求出使 ⽬标函数值下降的可⾏点。 教材中共介绍了四种⽅法 ：Zoutendij k可⾏性⽅ 法、Rosen梯度投影⽅法、既约梯度法、Frank-Wolfe⽅法。博⽂对Zoutendij k可⾏性⽅法和Frank-Wolfe⽅法进⾏了介绍，这个是第⼀ 篇。 这类算法的两⼤步骤如下所⽰，有哪些信誉好的足球投注网站⽅向的选择策略不同形成了不同的可⾏⽅向法。 1、选择有哪些信誉好的足球投注网站⽅向 2、确定沿此⽅向移动的步长 接下来开始正题 ：Zoutendij k可⾏性⽅法 ⼀⼀、、线线性性约约束束情情形形 1.确确定定变变动动⽅⽅ 向向 对于⼀个⾮线性规划问题 ： ， 。可以看到其共有m个不等式约束，n个等式约束。 若初始点设定为 ，考虑到m个等式约束中有⼀些是起作⽤约束 （在边界上满⾜=），有⼀些是不起作⽤约束 （在内部满⾜ ），所以将 矩阵进⾏⾏调换 ： ，同时对 向量也进⾏对应分块 ： ，最终得到起作⽤约束 ，不起作⽤约束 。 定理 1 （可⾏⽅向） ：在此点选择⼀个⽅向 ，如果使得 ⽬标函数值下降，则应满⾜ ： ，即只考虑起作 ⽤约束集和等式约束集。 （这个定理不难理解，可⾏点已经触犯到了⼀些不等式约束的边缘，如果发⽣变动，那么变动之后的点⼀定依然满⾜这些起作⽤集约 束。） 之前都是站在约束⾓度考察⽅向 的取值，现在结合 ⽬标函数值进⾏联合分析 ：如果⽅向 同时满⾜ ，那么这个⽅向 就是下降可⾏⽅向 （即⽅向 既能够使函数值下降，⼜ 能满⾜约束条件）。基于这些分析我们可以把求⽅向 规范化为线性规划问题 ： 计算过程 1 （求⽅向d） ： ， 形象理解可知，当d和函数梯度夹⾓⼤于90°时，函数值可以下降，上 ⽬标函数为负值。⽽当已经到达局部最优点，没有下降⽅向时， 上 ⽬标函数最⼩值为0。这时可以给出第⼆个定理，即KT点和下降可⾏⽅向的关联 ： 定理2 （KT点关联下降可⾏⽅向） ：当在x点处满⾜约束，且上 ⽬标函数最⼩值为0时，此点为KT点。 （充要条件） ⾄此我们完成了⽅向d的确定。 2.确确定定移移动动步步长长 和⽆约束最优化问题类似，可⾏点的迭代公式为 ： 。步长的选择⼀⽅⾯要满⾜后续点的可⾏ 性，⼀⽅⾯⼜要使 ⽬标函数值尽可能地⼩。因此可以得到完备计算过程 ： 计算过程2 （完备求步长 ） ： 这时考虑 ：在选取 时已经使得 作⽤约束满⾜、等式约束满⾜。因此只考虑⾮作⽤约束即可 （这⼀步真的神奇 ！）。因此计算过程直 接化简为 ： 计算过程2 （简化求步长 ） ： 接下来对 式进⾏仔细分析 ：将不含 的项移动到右端 ： ，可以发现右端式满⾜⼩于0。分类讨论，当 时，⽆论 如何选取都满⾜条件， ；当 时， 左除引起变号， 最⼤取 。所以最终精简求法为 ： 计算过程2 （精简求步长 ） ： 其中 求法按照上述分类讨论计算。完整的 计算⽅法在教材中已经给出： 3.完完整整算算法法