随机过程第四版_ch4_马尔可夫链解析.ppt

* 4.2 马尔可夫链的状态分类 (2)当且仅当p?q，4pq1 状态i是非常返的 * 4.3 状态空间的分解 定义4.9 状态空间I 的子集C称为闭集，如对任意i?C及k?C都有pik=0; 闭集C称为不可约的，如C的状态互通； 马氏链{Xn}称为不可约的，如其状态空间不可约 引理4.4 C是闭集的充要条件为对i?C及k?C都有 * 4.3 状态空间的分解 证 充分性显然成立 必要性（数学归纳法） 设C为闭集，由定义当n=1时结论成立 设n=m时， ，i?C及k?C ，则 注：如pii=1，称状态i为吸收的，等价于 单点集{i}为闭集。 * 4.3 状态空间的分解 例4.10 设马氏链{Xn}的状态空间为 I={1,2,3,4,5}，转移概率矩阵为 状态3是吸收的，故{3}是闭集，{1,4}，{1,3,4}，{1,2,3,4}都是闭集，其中{3}，{1,4}是不可约的。I含有闭子集，故{Xn}不是不可约的链。 * 4.3 状态空间的分解 例4.11 无限制随机游动为不可约马氏链，各状态的周期为2，当p=q=1/2时，是零常返的，当p?q时，是非常返的。 * 4.3 状态空间的分解 定理4.10 任一马氏链的状态空间I，可唯一地分解成有限个或可列个互不相交的子集D,C1,C2,?之和，使得： (1)每一Cn是常返态组成的不可约闭集； (2)Cn中的状态同类型，或全是正常返，或全是零常返，它们有相同的周期，且fij=1，i,j?Cn； (3)D由全体非常返态组成，自Cn中状态不能到达D中的状态。 * 4.3 状态空间的分解 例4.12 马氏链的状态空间I ={1,2,3,4,5,6},状态转移矩阵为 分解此链并指出各状态的常返性及周期性。 * 4.3 状态空间的分解 解 由状态转移图知 可见1为正常返状态且周期为3，含1的基本常返闭集为 C1={k:1?k}={1,3,5}，从而状态3及5也为正常返状态且周期为3。 同理可知6为正常返状态，?6=3/2，周期为1。含6的基本常返闭集为 C2={k:6?k} ={2,6}，可见2，6为遍历状态。 * 4.3 状态空间的分解 于是I可分解为 I=D∪C1∪C2 ={4}∪{1,3,5}∪{2,6} 定义4.10 称矩阵A=(aij)为随机矩阵，若 显然k步转移矩阵 为随机矩阵。 * 4.3 状态空间的分解 引理4.5 设C为闭集， G是C上所得的k步转移子矩阵，则G仍是随机矩阵。 证 任取i?C，由引理4.3有 从而 且 ，故 是随机矩阵。 * 4.3 状态空间的分解 注：对I的一个闭子集，可考虑C上的原马氏链的子马氏链，其状态空间为C，转移矩阵为G=(pij)，i,j?C是原马氏链的转移矩阵为P=(pij)，i,j?I的子矩阵。 * 4.1 马尔可夫链与转移概率 * 4.1 马尔可夫链与转移概率 * 4.1 马尔可夫链与转移概率 例4.3 天气预报问题 RR表示连续两天有雨，记为状态0 NR表示第1天无雨第2天有雨，记为状态1 RN表示第1天有雨第2天无雨，记为状态2 NN表示连续两天无雨，记为状态3 p00=P{R今R明| R昨R今}=P{R明| R昨R今}=0.7 p01=P{N今R明| R昨R今}=0 p02=P{R今N明| R昨R今}= P{N明| R昨R今}=0.3 p03=P{N今N明| R昨R今}=0 * 4.1 马尔可夫链与转移概率 类似地得到其他转移概率， 于是转移概率矩阵为 若星期一、星期二均下雨，求星期四下雨的概率 * 4.1 马尔可夫链与转移概率 星期四下雨的情形如右， 星期四下雨的概率 2步转移概率矩阵为 一 二 三 四 R R R R 0 0 R R N R 0 1 * 4.1 马尔可夫链与转移概率 例4.4 具有吸收壁和反射壁的随机游动 状态空间{1,2,3,4}，1为吸收壁，4为反射壁 状态转移图 状态转移矩阵 * 4.2 马尔可夫链的状态分类 {Xn,n?0}是离散马尔可夫链，pij为转移概率，i,j?I，I={0,1,2,?}为状态空间，{pj,j?I}为初始分布 定义4.6 状态i的周期d： d=G.C.D{n: 0} (最大公约数greatest common divisor) 如果d