G5马尔科夫决策汇编.ppt

5 马尔科夫决策 詹文杰（教授/博导） Office: 华中科技大学管理学院611室 Tel: 027 Email: wjzhan@mail.hust.edu.cn 学习目标 运用马尔科夫链属性来预测概率，并辅助决策。 5 马尔科夫决策(Markov Decision Making) 5.1 马尔科夫链的基本理论 5.2 稳态概率矩阵:平稳分布与稳态分布 5.3 马尔可夫链预测法 5.4 马尔科夫决策的应用 5.5 马尔科夫决策的研究论文 5.1 马尔科夫链的基本理论 安德烈·马尔可夫（A.A. Markov，1856－1922），俄罗斯人，物理-数学博士，圣彼得堡科学院院士，彼得堡数学学派的代表人物，以数论和概率论方面的工作著称，他的主要著作有《概率演算》等。 所谓马尔柯夫链(Markov Chain)，就是一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即无后效性。具备这个性质的离散型随机过程，称为马尔柯夫链。 马尔科夫链举例 自然界中有一类事物的变化过程仅与事物的近期状况有关，而与事物的过去状态无关。例如： （1）森林中动物头数的变化构成； （2）传染病受感染的人数； （3）车站的候车人数； （4）设备维修和更新； （5）人才结构变化； （6）资金流向； （7）市场需求变化等。 5.1 马尔科夫链的基本理论 马尔可夫链的数学描述： 随机变量X为{X1,X2,...,Xt,…, Xn}的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而Xt的值则是在时间t的状态。如果Xt+1对于过去状态的条件概率仅是Xt的一个函数，则: 　　P(Xt+1)={Xt+1|X1, X2 ,..., Xt} = {Xt+1|Xt) 　　上面这个恒等式可以被看作是马尔可夫性质。 概念: 状态？ 状态空间？ 状态转移？ 一、状态与状态变量 状态：客观事物可能出现或存在的状况。 如：商品可能畅销也可能滞销；机器运转可能正常也可能故障等。 同一事物不同状态之间必须相互独立：不能同时存在两种状态。 客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化。如: 某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。 一、状态与状态变量 用状态变量来表示状态：Xt=i; (i=1,2,…,N; t=1,2,…) 它表示随机运动系统，在t时刻(t=1,2,…) 所处的状态为i (i=1,2,…,N). 状态转移：客观事物由一种状态到另一种状态的变化。 　　 如：由于产品质量或替代产品的变化，市场上产品可能由畅销变为滞销。 二、状态转移概率 客观事物可能有E1,E2,…,En共n种状态，其中每次只能处于一种状态，则每一状态都具有n个转向（包括转向自身），即: Ei →E1, Ei →E2, …, Ei →En 。 由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是状态转移概率。 概率论中的条件概率：P(A|B)就表达了由状态 B 向状态 A 转移的概率，简称为状态转移概率。 对于由状态 Ei 转移到状态Ej 的概率，称它为从 i 到 j 的转移概率。记为： Pij = P(Ei→Ej) =P(Ej|Ei) = P(Xt+1=j|Xt=i) 它表示由状态Ei 经过一步转移到状态Ej 的概率。 例1：状态转移概率的计算 某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研究期间无新用户加入也无老用户退出，只有用户的转移，已知 2006 年 5 月份有 500 户是甲厂的顾客；400 户是乙厂的顾客；100 户是丙厂的顾客。 6 月份，甲厂有400 户原来的顾客，上月的顾客有 50 户转乙厂，50 户转丙厂；乙厂有 300 户原来的顾客，上月的顾客有 20 户转甲厂，80 户转丙厂；丙厂有 80 户原来的顾客，上月的顾客有 10 户转甲厂，10 户转乙厂。 计算其状态转移概率。 例1：状态转移概率的计算 例1：状态转移概率的计算 三、状态转移概率矩阵及其基本特征 例2：求味精销售转移概率矩阵 四、多步状态转移概率矩阵 状态转移概率矩阵完全描述了所研究对象的变化过程。正如前面所指出的，上述矩阵为一步转移概率矩阵。对于多步转移概率矩阵，可按如下定义解释。 定义 ：若系统在时刻 t0 处于状态 i ，经过 n 步转移，在时刻 tn 处于状态