动态规划和排队论选编.ppt

第五章 动态规划 多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划方法的基本步骤 动态规划方法应用举例 1、多阶段决策过程的最优化 1、多阶段决策过程的最优化 2、动态规划的基本概念 一、动态规划的基本概念 使用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型，同时也为了今后叙述和讨论方便，这里需要对动态规划的下述一些基本术语进一步加以说明和定义： 2、动态规划的基本概念 (一) 阶段和阶段变量 为了便于求解和表示决策及过程的发展顺序，而把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的阶段。一个阶段，就是需要作出一个决策的子问题，通常，阶段是按决策进行的时间或空间上先后顺序划分的．用以描述阶段的变量叫作阶段变量，一般以k表示阶段变量．阶段数等于多段决策过程从开始到结束所需作出决策的数目，图5—1所示的最短路问题就是一个四阶段决策过程． 2、动态规划的基本概念 （二）状态、状态变量和可能状态集 1、状态与状态变量．用以描述事物(或系统)在某特定的时间与空间域中所处位置及运动特征的量，称为状态．反映状态变化的量叫作状态变量。状态变量必须包含在给定的阶段上确定全部允许决策所需要的信息．按照过程进行的先后，每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段k的初始状态记作Sk，终止状态记为Sk+1。但为了清楚起见，通常定义阶段的状态即指其初始状态． 2、动态规划的基本概念 2．可能状态集 一般状态变量的取值有一定的范围或允许集合，称为可能状态集，或可达状态集．可能状态集实际上是关于状态的约束条件．通常可能状态集用相应阶段状态sk的大写字母Sk表示，sk∈Sk，可能状态集可以是一离散取值的集合，也可以为一连续的取值区间，视具体问题而定．在图5—1所示的最短路问题中，第一阶段状态为V1，状态变量s1的状态集合S1={V1}；第二阶段则有三个状态：V2,V3,V4 ,状态变量s2的状态集合S2={V2,V3,V4} ；第三阶段也有三个状态:V5,V6,V7 ，状态变量s3的状态集合S3={V5,V6,V7} ；第四阶段则有二个状态： V8,V9, 状态变量s4的状态集合S4={V8,V9} ； 2、动态规划的基本概念 （三）决策、决策变量和允许决策集合 所谓决策就是确定系统过程发展的方案，决策的实质是关于状态的选择，是决策者从给定阶段状态出发对下一阶段状态作出的选择． 用以描述决策变化的量称之决策变量，和状态变量一样，决策变量可以用一个数，一组数或一向量来描述．也可以是状态变量的函数，记以uk= uk(sk)，表示于阶段k状态sk时的决策变量． 决策变量的取值往往也有一定的允许范围，称之允许决策集合．决策变量uk(sk)的允许决策集用Uk(sk)表示, uk(sk)∈ Uk(sk)允许决策集合实际是决策的约束条件． 2、动态规划的基本概念 （四）、策略和允许策略集合 策略(Policy)也叫决策序列．策略有全过程策略和k部子策略之分，全过程策略是指具有n个阶段的全部过程，由依次进行的n个阶段决策构成的决策序列，简称策略，表示为p1,n{u1,u2,…,un}。从k阶段到第n阶段，依次进行的阶段决策构成的决策序列称为k部子策略,表示为pk,n{uk,uk+1,…,un} ，显然当k=1时的k部子策略就是全过程策略。 在实际问题中，由于在各个阶段可供选择的决策有许多个，因此，它们的不同组合就构成了许多可供选择的决策序列(策略)，由它们组成的集合，称之允许策略集合，记作P1,n ，从允许策略集中，找出具有最优效果的策略称为最优策略。 2、动态规划的基本概念 （五）状态转移方程 系统在阶段k处于状态sk，执行决策uk(sk)的结果是系统状态的转移，即系统由阶段k的初始状态sk转移到终止状态sk+1 ，或者说，系统由k阶段的状态sk转移到了阶段k+1的状态sk+1 ，多阶段决策过程的发展就是用阶段状态的相继演变来描述的。 对于具有无后效性的多阶段决策过程,系统由阶段k到阶段k+1的状态转移完全由阶段k的状态sk和决策uk(sk)所确定，与系统过去的状态s1,s2,… sk-1及其决策u1(s1), u2(s2)…uk-1(sk-1)无关．系统状态的这种转移，用数学公式描述即有： 2、动态规划的基本概念 通常称式(5-1)为多阶段决策过程的状态转移方程。有些问题的状态转移方程不一定存在数学表达式，但是它们的状态转移，还是有一定规律可循的。 (六) 指标函数 用来衡量策略或子策略或决策的效果的某种数量指标，就称为指标函数。它是定义在全过程或各子过程或各阶段上的确