课件：Markov链的状态分类.ppt

定义： 则 表示从状态i出发最终到达状态j的概率. 性质：当i ? j 时, 则 i? j fij 0. 定义3.5 如果 fii = 1, 则称状态i是常返的. 否则, 即fii1, 称状态i为非常返的或瞬过的. 注: 如果状态i是常返的, 那么从状态i出发经过有限步转移后最后又回到i的概率为1. 定义： 表示在0时刻从状态i出发首次到达状态j的所需要转移的步数, 即 如果 , 则 补充: 我们有 , 因此 注: 上式告诉我们为什么fii=1表示常返. 定理3.2 ① 状态i是常返的 ② 状态i是瞬过的 证: 由过程的Markov性, 一旦回到i, 过程以后的发展只依赖当前, 因此从i出发至少回到i两次的概率是 , 依此类推. 用随机变量K表示过程返回i的次数, 则 THANK YOU SUCCESS * * 可编辑 于是K的条件期望为: 显然, 下面我们将证明: 令 , 则 , 于是 因此, 由于状态i瞬过的 , 故 状态i是瞬过的 . 推论3.2 如果i是常返的, 且i?j, 则i也是常返的. 证: 由i?j知存在m,n使 和 , 于是对任何正整数 s 0, 有 因此, 例3.9 考虑整数点上的随机游动. 向右移动一格的概率为p, 向左移动一格的概率为q=1-p. 从原点0出发, 则一步转移概率矩阵为: 所以 利用Stirling公式知, 当n充分大时 于是 因此, 当p=0.5时 , 当p?0.5时 即当p=0.5时状态0是常返的; 当p?0.5时0是瞬过的. 定义 对常返状态i我们定义Ti为首次返回状态i的时刻, 即: 称作常返时. 记 , 则有 , 所以是首次返回i的期望步数, 叫作状态i的平均常返时. 定义 一个常返状态i当且仅当?i=?时称为是零常返的, 当且仅当?i?时称为正常返的. 课外作业: Page 58, Ex 9 Page 59, Ex 11, 14 其中14(1) 的矩阵改为: 根据转移矩阵的不同结构，马氏链可以分为多个不同的类型，这里，我们只简单介绍其中常见而又较为重要的两类：正则链与吸收链． 定义C1. 对于马氏链，若存在一正整数k，使其转移矩阵M的k次幂Mk 0（每一分量均大于0），则称此马尔链为一正则链(regular chain)． 补充：正则链与吸收链 定理C1. 若A为正则链的转移矩阵，则必有： (1) ，其中W为任一分量均大于零的随机矩阵； (2) W的所有行向量均相同． 定理C2. 记定理 C1中W的行向量为π=(π1,…, πm)，则： (1) 对任意随机向 量x，有 ； (2) π是P的不动点向量,即πP=π, P的不动点向量是唯一的． 定义C2. 状态Si 称为马氏链的吸收状态，若转移矩阵P的第i 行满足：Pii=1，Pij=0 (j≠i)． 定义C3. 马氏链被称为吸收链，若其满足： (1) 至少存在一个吸收状态 ； (2) 从任一状态出发，经有限步转移总可到达某一吸收 状态． 根据定义C3，例3.1中Xn即 为一吸收链 具有r个吸收状态，m－r个非吸收状态的吸收链，它的m×m转移矩阵P的标准形式为 其中Ir为r 阶单位阵，O为r×(m-r)零阵，R为(m-r)×r 矩阵，Q为(m-r)×(m-r)矩阵． 令B=(I－Q) -1，称B为基矩阵． 定理C3. 吸收链的基矩阵B中的每个元素，表示过程从一个非吸收状态出发到达每个非吸收状态的平均转移次数． 定理C4. 设N=BC, B为吸收链的基矩阵, C=(1,1,…,1)T，则N的每个元素表示从非吸收状态出发，到达某个吸收状态被吸收之前的平均转移次数． 定理C5. 设F=BR=(fij)，其中B为吸收链的基矩阵，R为T中的子阵，则fij表示从非吸收状态i出发，被吸收状态 j吸收的概率． 例C1.1 (竞赛问题) 甲乙两队进行一场抢答竞赛，