三章最优控制上传.docVIP

第三章 最优控制 第一节 最大值原理概述 在变分法中，首要关注的是最优状态路径，由它确定最优值；在最优控制中，寻求一个控制变量的最优控制时间路径；而动态规划关注的是最优值函数，通过它寻求一个最优策略函数，即控制对状态的反应。后者在离散与不确定性问题中更重要。 一、最优控制的最简单问题 最优控制的最简单问题是： ，自由，、给定 （1） 有时也指定的变化区域：。与变分法不同，最简单的最优控制问题中的是自由的，因为推导过程中，我们是使（而不是）任意变化来找到最优值。从直观上讲，如果限定了，不能真正任意变化。此外,与变分法不同，不要求全局可微，只要求分片(piecewise)可微即可；的要求是分片连续。在最优控制问题中，选择的变量是，可直接处理的约束问题，并且容许角点解。 二、共态变量（或协态变量，costate variable）和汉密尔顿函数 问题的求解中我们要用到一个关键的表达即汉密尔顿函数： （2） 是一个动态的乘子函数，它实质上就是动态的拉格朗日乘子，所以具有与拉格朗日乘子同样的含义。在后面的表述中，在不引起歧义的情况下，我们将省略、与中的隐含自变量。 三、最大值原理 我们先给出最大值原理的结果，熟悉了以后再来推导与解释。最大值原理为，问题（1）的解满足下列式子： ， （3） （4） （5） （6） （3）式为最优性条件；（4）式为可行性条件，它实际上就是已知的约束；（4）式是关于乘子的运动方程（也有人称之为欧拉方程）；（6）式为横截性条件。（3）式实质上是下式的一般化： （7） 大部分情况下（7）式与（3）是等价的。但是当不可微（如在边界上）、关于线性等情况时，（7）式是不适用的。 四、例题 【例1-1】求下面的动态优化问题 ，自由，、给定 解：第一步建立汉密尔顿函数 关于非线性且未指定控制域，所以肯定是内点解，适用。 首先，由（7）式有： （8） 其次由（5）式 常数 （9） 由TVC条件（6）式得到： （10） 结合（9）、（10）式得到： ， （11） 由（8）与（11）式得到： （12） 由条件（4）式（即已知的动态约束）得到： 常数 最后由初始点确定该常数：。 【例2-2】本例说明不能用的情况 ，，自由， 首先建立汉密尔顿函数： 关于线性，。若，则最大（）时最大；反之，若，最小（）时，最大。即： 2 由 是减函数，从递减到。在前后发生转变，由转变为。令该时刻的，求出该时刻： 以时刻为分界线，最优控制变量分成两段： 在时间段：， 且 在 ，初始值。由初始值确定积分常数。 课堂练习： ， 五、变分与最优控制的比较 变分法与最优控制实际上是一致的。下面以一个特定的例子来说明这一点。 变分法 最优控制 它们的解分别为： 变分法 最优控制 在这个特定的例子中，我们可以从最优控制的条件推导得变分法的条件。由（13）和（14）可得： 由上式可得到： 由（15）得到： 此即变分法中的欧拉方程。两个问题中的横截性条件以及二阶必要条件也很容易说明是一致的。 第二节 推导 我们下面给出的是最大值原理的探索性的变分法说明，而不是严格、详细的证明。 为清楚起见，我们重述最优控制的最简单问题如下： ，自由，、给定 （1） 下面分四步得到（4）到（7）式的结果。 【第一步】将运动方程结合入目标泛函中 对所有的成立，即：，。由此 （18） 注意这里的顺序，颠倒这个顺序对求解没有什么影响，但是对乘子的解释有影响。 将（18）式加入到原来的目标泛函中得到新的目标泛函 （19） 只要，则。也就是说，在动态约束满足的条件下，（19）式的优化条件与原问题的优化条件是相同的。这种做法实际上是拉格朗日法，所以这里的乘子本质上就是拉格朗