7 4 动态规划与离散系统最优控制.doc

第 PAGE 12 页 共 NUMPAGES 21 页 第 PAGE 21 页 共 NUMPAGES 21 页 § 7. 4 动态规划与离散系统最优控制 1. 动态规划基本原理 最优性原则应有如此性质: 即无论(整个过程的)初始状态和初始决策如何，其余(后段)各决策对于由第一个决策(后)所形成的状态作为(后段)初始状态来说，必须也是一个最优策略。 用式表示 阶段变量n(分析次序) 状态变量x 决策变量 决策组 损失(效益)函数:对x用决策所付代价(效益) 后部最优策略函数由x至终最小损失(最大效益) A到D的最短路线 解 3阶段的决策过程， 在CD段(首), (分析)阶段变量; 在BC段(首), (分析)阶段变量； ，； ，； ，； 在AB段，阶段变量； ，； 所以整个过程的最优策略为：，，，即最优路线为 。 穷举算法：共有个策略，每策略做次加法 ? 次加，有次比较， 动态规划： 在段， 有3个加， 2 个比较运算， 在()~2段, 有加，个比较运算， 在1段， 无加， 也无比较运算， ? 有次加，次比较(是N的线性) ? 确定最优策略； 2. 离散系统最优控制 设 ，， (7.21) 指标 (7.22) 求,使(7.22)式最小. 常取 ， . 或(半正定)，(正定). 意: 与的各个分量上的权值，称为权矩阵。 实用 。 控制次序 公式推导 (i)时标在下标处， (ii) 分离出来，权矩阵改记为S， (iii)添常数项(影响极值，但不影响极值点)， (7.23) 定理7.4 系统 (7.21)，使指标(7.23)为最小的最优控制 。 其中: (7.24) 证 运用(7.20)式，最后一段的损失为 是的二次型函数， 因是正定的， 故必有唯一最小值，由多元极值的必要条件，得 ， 由正定，知其可逆，从而得 (7.25) 因此最后一段的最小损失为 (7.26) 由公式组(7.25)中第一个公式得 (7.27) 将(7.27)代入(7.26)，经整理后，有 逆向第二段的最优化。 根据动态规划最优化原则, 得 记 , (7.28) 则最后二阶段的性能指标 与最后一段指标 类比, 可得 其中由(7.28)所确定, 最后二段的最小损失值为 , 以此类推, 可得公式组(7.24)。 推论 若状态矩阵是可逆的，则有 (7.29) (证明略)。 (1) 预先逆序计算, (从已知{Ф，Г}和{S，Q，R}) (2) 然后顺序控制. 例7.9 设一维 指标 ， 计算、、和。 解 这里 ， 由递推公式，得 逆向计算 表1 13 12 11 10 9 8 7 6 5 4 3 2 1 0 0 1.03 2.39 3.51 4.11 4.36 4.46 4.49 4.52 4.52 4.52 4.52 4.52 0 4 11.75 21.99 30.32 4.83 36.74 37.47 37.74 37.83 37.87 37.88 37.88 37.88 顺向最优控制和最优状态如表2， 表2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 10 5.98 3.58 2.14 1.28 0.76 0.46 .28 0.18 0.12 0.10 0.10 0.13 0.19 45.10 26.97 16.15 9.65 5.77 3.41 2.05 1.22 0.74 0.42 0.24 0.10 0 趋于常值. 定理.7.5 若 (7.21)完全能控，对于无限时间指标 ， 必有 和。 (7.30) (证明略) 定值控制称为调节. 由此得到最优控制?为最优调节， 最优调节器的表达式为 用(7.30)中F代，所得的状态反馈控制 称为稳态最优调节器，F称为稳态最优反馈增益。 F的计算 (1) 用计算机编程求得; (2) 据定理7.5极限的存在性，在 (7.29)两边求极限 (7.31) 中解出F。其中P为非负定。 (3) 也可对公式组7.24的两边求极限而得。 例 7.10 例7.9中的指标改为 求稳态最优调节器。 解 一维系统，由， 故满秩，系统完全能控， 由定理7.5稳态最优增益必存在。各参数代入(7.31)得 ， 整理为 ， 求得 和 。 从而最优调节器为