运筹学09-动态规划课件.ppt

第十章 动态规划 10.1 多阶段过程决策问题 10.2 动态规划原理 10.3 动态规划应用举例 从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？ 这是一个多阶段决策问题，它可分为四个阶段： 第一阶段：从Q(制造厂)到A(出口港)； 第二阶段：从A(出口港)到B(进口港)； 第三阶段：从B(进口港)到C(城市)； 第四阶段：从C(城市)到T(某公司)。 每个阶段选取的路线不同，对应从Q到T就有一系列不同的运输路线: 从始点Q到终点T共有3×3×2×1=18条不同路线 现在的问题是如何选择一条费用最小的路线？ 最短路径：Q→ A3→ B1→ C1→T 多阶段决策问题的典型例子 企业在生产过程中，由于需求是随着时间变化的因素，因此企业为了获得全年最佳经济效益，就要在整个生产过程中逐月或逐季的根据库存和需求决定生产计划。 某种机器可以在高、低两种负荷下生产。高负荷下生产的产量多，但每生产一个阶段后机器的完好率低；低负荷下生产时的情况则相反。如何安排该种机器在各阶段中的使用，使整个计划期内的总产量最大。 生产过程包含一系列的过程设备，如化工生产中反应器、蒸馏塔、吸收器等等，前一设备的输出是后一设备的输入。因此，应该如何控制生产过程中各个设备的输出和输入，使总产量最大。 某台设备，例如汽车，刚买来时故障少，耗油低，出车时间长，处理价值和经济效益高。随着使用时间的增加则变为故障多，耗油高，维修费用增加，经济效益差；使用时间愈长，处理价值也愈低。另外，每次设备更新都要付出更新费用。因此，应当如何决定设备的使用年限，使总的效益最佳。 发射一枚火箭去击中运动中的目标。由于目标的行动是不断改变的，因此应如何根据目标运动情况，不断调整火箭飞行的方向与速度，使之最快地命中目标，等等。 动态规划方法的特点 优点： ①许多问题用动态规划研究求解比线性规划、非线性规划更有效，特别是离散性问题，解析数学无用武之地，而动态规划成为得力工具； ②某些情况下，用动态规划处理不仅能作定性描述分析，且可利用计算机给出求其数值解的方法。 10.2 动态规划原理 阶段(stage) 处理多阶段决策，需将全过程划为若干阶段，每个阶段进行一次抉择。 各阶段按一定顺序联接在一起组成统一的整体。 用k表示阶段变量。 阶段编号 顺序编号 逆序编号 状态(state) 状态表示过程发展中某阶段的起始状况。 过程的发展可以通过各阶段状态的演变来描述。 状态可用一个变量来描述，称为状态变量，用Sk表示。 选取的状态变量必须满足无后效性。 某阶段的状态给定后，则过程未来发展不受该阶段以前各阶段状态的影响。 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合， sk(i)表示第k阶段的第 i 个状态。 决策(decision) 从上一阶段某状态演变到下一阶段某状态要作一次选择，称为决策。 用变量xk(sk)表示第k阶段状态为sk时的决策，称为决策变量，简记xk 决策变量的取值被限制在某一范围内，此范围称为允许决策集合Xk(sk) 策略(policy) 策略：一个决策序列（按序排列的决策集合） 多阶段决策过程中，每阶段均有一个决策，依序组合成一个全过程的决策序列，称为全过程策略。 p1,n(s1)={x1(s1),x2(s2) ,…, xn(sn)} ， 简记p1,n ={x1, x2,…, xn} 从过程的某个阶段开始到最终阶段结束称为后部子过程。从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={xk(sk), xk+1(sk+1) ,…, xn(sn)} 简记 pk,n ={xk, xk+1,…, xn} 每一阶段有若干状态,每个状态又有若干个不同的决策,即有许多策略可供选择。全体策略构成允许策略集合Pk,n(sk)。 能使预期目标达到最优效果的策略称为最优策略P*k,n ， 构成最优策略的各决策称为相应阶段的最优决策x*k。 状态转移方程 下一阶段状态sk+1 是本阶段状态变量sk 和决策变量xk的函数，即 sk+1 =T(sk, xk(sk)) =T(sk, xk) 从状态sk出发到下一阶段状态sk+1的转移方程称为状态转移方程。 指标函数 用来衡量每一阶段决策效果的优劣的数量指标，称为阶段指标函数vk ，阶段指标是状态变量和相应决策变量的函数，即vk = vk(sk , xk )。 最短路问题的指标函数对象是运费或路程。对阶段的不同状态，采取不同的决策，运费不同。 指标函数对象也可以是利润、成本、产量等。 从第k阶段的状态sk出发到最后阶段结束，各阶段绩效综合起来反映这个后部