动态规划原理与应用.pdf

厦门大学经济系 邵宜航 数理经济学精要 ——经济学中的最优化数学分析 动态规划原理与应用 （讲义要点） 第五章 动态规划 §5.1 连续系统的动 §5.2 离散系统的动 态规划方法 态规划方法 5.1.1. 最优性原理 5.2.1. 有限期动态最优 5.1.2. 最优控制问题的 化问题的逆向递归求 Bellman方程 解 5.1.3. Bellman方程与 5.2.2. 无限期离散最优 最大值原理 控制问题的最大值原 理 §5 动态规划 2 §5.1 连续系统的动态规划方法 5.1.1. 最优性原理 §5 动态规划 3 【Bellman最优性原理】 【Bellman 最优性原理】 一个最优化策略（序列决策的集合） 具有这样的性质，不论前面的状态和决策 如何，对前面的决策所形成的状态而言， 余下的决策必须构成最优策略。 换一种表述，如果用最优路径表示， 最优化原理为：从最优路径的任何一点出 发，对于以该点为初始点的相应问题而言， 余下的路径也必须是最优路径。 §5 动态规划 4 §5.1 连续系统的动态规划方法 5.1.2. 最优控制问题的Bellman方程 §5 动态规划 5 在最优化问题（OCP-2 ）中，显然，最优解依 赖于初始时刻t 和初始状态x ，若t 和x 变动，则最 0 0 0 0 优目标值也随之改变。所以最优目标值可理解为是 (t , x ) 的函数，设最优目标值函数如下， 0 0 ⎧ =Φ ⎫ x t t, x(t),u(t) ( ) ( ) ⎪ t1 ⎪ V( t , x ) : inf f t, x(t), u(t) dt x(t ) x 0 0 u x ⎨∫t ( ) 0 0 ⎬ ( , ) ⎪ 0 ⎪