北大随机过程课件：第_2_章_第_4_讲_马尔可夫链渐进分析.pdfVIP

马尔可夫链的渐进分析（续三） 马尔可夫链的例子： 例 1 设有一个三状态{0,1,2}的马尔可夫链，它的一步转移概率矩阵是 ⎛ 0.5 0.4 0.1⎞ ⎜ ⎟ P ⎜ 0.3 0.4 0.3 ⎟ ⎜ 0.2 0.3 0.5 ⎟ ⎝ ⎠ 例 2 设有一个无穷状态{0,1,2,3,……},的齐次马尔可夫链，它的一步转移概率是 ⎡1− p 0 p 0 0 0 0 0 0 ⎤ ⎢ ⎥ ⎢ 1− p 1 0 p 1 0 0 0 0 ⎥ ⎢1− p 2 0 0 p 2 0 0 0 ⎥ ⎢ ⎥ ⎢ L L ⎥ ⎢1− p j 0 0 0 0 p j 0 ⎥ ⎢ ⎥ ⎣ L L⎦ 例 3 无限随机游动 例 4 设有一个具有一个弹性壁的随机游动，它的状态空间是{0,1,2,3, }，0 是弹性壁 例 5 艾伦菲斯特（Ehrenfest ）模型 例 6 设有一个具有两个吸收壁的随机游动，它的状态空间是{-2,-1,0,1,2}, -2 和 2 为吸收态。 问题： 状态分析：常返态、非常返态，状态空间的分解，闭集 渐进分析 平稳分布：平稳分布存在的条件；平稳分布的特性；确定平稳分布的方法； 过渡分析：到达常返态的概率、进入时间的分布与期望 状态转移概率的渐进性和平稳分布 定理 1 设有一个有限状态的马尔可夫链，若存在一个正整数 m ，使得对状态空间的任何状 态 i,j 有p (m) 0 ，则lim P (n) π 。 ij n→∞ 极限矩阵π的性质： 矩阵有相同的行矢量，每一列元素都相同。 pπ π 推论 1：π的行矢量满足下列关系：π πp ，∑π i 1 i π给出状态的极限分布： (n ) (n+1) (n ) π lim p lim p lim p p πp ，π πp n→∞ n→∞ n→∞ ∑π i p i j π j i 归一化条件，∑π i