8.动态规划.ppt

第八章 动态规划 第八章 动态规划 第一节 多阶段决策过程及实例 第一节 多阶段决策过程及实例 通常的决策问题分为两大类： 静态决策 二、多阶段决策过程实例 多阶段决策的分类： 优点 5+3+3+2+3+4=20 3+7+3+2+6+3=24 ........ 例2 （机器负荷分配问题） 某企业拥有完好的机器y台，将它们按照高负荷和低负荷两种生产方式生产，已知收益函数分别是： g=g(x) 和 h=h(x) x为机器数量。设高负荷下生产时机器的年完好率为a，低负荷下生产时机器的年完好率为b（0≤a≤1，0≤b≤1） 问：对总数量为y的机器进行分配用于生产，试制定一个五年计划，应如何分配每年投入高负荷和低负荷的机器数量，才能使总收益最大？（n个阶段的决策问题） 例3（生产与存储问题） 某工厂生产并销售某种产品，已知今后四个月市场需求预测及每月生产j个单位产品的费用如下： 起始状态=终止状态=0； 每月产量不超过6单位； 月末库存不超过3单位； 满足每个月的市场需求。 最简单，按月需求生产—方案1：2 3 2 4 不按照月需求生产，如—方案2：2 5 0 4 .... 方案1的费用：(5+6+5+7)+0=23(万元) 方案2的费用：(5+8+0+7)+0.5*2=21(万元) ...... 例4（投资决策问题） 某公司有资金Q万元，在今后5年内决定给A、B、C、D四个项目投资，这些项目的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第5年末拥有资金的本利总额最大。 例5（设备更新问题） 某企业要决定一台设备未来20年的更新计划，预测第j年购买设备的价格为Kj，Gj为设备经过j年后的残值，Cj为设备连续使用j-1年后在第j年的维修费（j=1,2,...,20），问应在哪一年更新设备可使总费用最小。 三、内容框架 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 第二节 动态规划的基本概念和基本方程 构成动态规划模型的指标函数应具有的性质： （1）分离性 可以把一个多阶段决策问题的总目标分解为各个阶段的阶段指标 （2）递推性 下一个阶段的状态可以由上一个阶段的状态和相应的决策表达 （3）单调性 Vk,n 最常见的阶段指标： Vk,n=Vk,n(sk,uk,sk+1,uk+1,...,sn,un) =vk(sk,uk)+vk+1(sk+1,uk+1)+...+vn(sn,un) = vk(sk,uk)+Vk+1,n(sk+1,uk+1,...,sn,un) 最优值函数 条件最优策略 （生产与存储问题） 某工厂生产并销售某种产品，已知今后四个月市场需求预测及每月生产j个单位产品的费用如下： 策略 阶段 状态 决策 状态转移方程 策略 指标函数 最优策略（p1,n*） 条件最优策略 最优值函数 二、动态规划的构模条件 二、动态规划的构模条件 求解要求 （逆序）求出最优策略，即最优决策序列： {u1*, u2*, ... , un*} （顺序）求出最优路线，即执行最优策略时的最优状态序列： {s1*, s2*, ... , sk*, ... , sn*} 三、动态规划的基本方程 解：k=6: f6(F1)=4 f6(F2)=3 k=3: f3(C1)= min {d(C1,D1) + f4(D1), d(C1,D2) + f4(D2)} =min{6+7,8+6}= 13, u3(C1)=D1 f3(C2)=10, u3(C2)=D1 f3(C3)=9, u3(C3)=D2 f3(C4)=12, u3(C4)=D3 三、动态规划的基本方程 三、动态规划的基本方程 第三节 动态规划的最优性原理和最优性定理 二、原理 证明： 若允许策略p*0, n-1是最优策略，对于任意一个k(0kn-1)， 它的子策略p*k,n-1对于以