第讲马尔可夫链续稳态和非稳态.pdf

9 马尔可夫链（续三） 9.1 状态转移概率的渐进性和平稳分布 定理 1 设有一个有限状态的马尔可夫链，若存在一个正整数 m ，使得对状态空间的任何状 态 i,j 有p (m) 0 ，则lim P (n) π 。π是一个矩阵，有相同的行矢量，每一列元 ij n→∞ 素都相同。 证明： 设 m ＝1 步的状态转移矩阵的所有元素是正的， 首先证明 n 步的状态转移矩阵每一列的最小元素随着 n 的增加而增大，每一列的最 大元素随着 n 的增加而减小。 在 n 步的状态转移矩阵中，第j 列中的最小元素是 min p (n ) m (n ) ij j i 在 n 步的状态转移矩阵中，第j 列中的最大元素是 max p (n ) M (n ) ij j i 由切尔曼－科尔莫科洛夫方程，可以得到 p (n ) p p (n−1) =≥ p m (n −1) m (n =−1) ij ∑ ik kj ∑ ik j j k k m (n) ≥m (n −1) j j 同理可以得到 p (n ) p p (n−1) =≤ p M (n −1) M (n =−1) ij ∑ ik kj ∑ ik j j k k M j (n ) ≤M j (n −1) 接着证明 n 步的状态转移矩阵每一列的最小元素和最大元素，随着n 的增加趋于同 一极限。即M (n) ，m (n) 趋于同一极限。 j j 设， 从i 经 n 步到达j 的转移概率是m (n) ， 0 j 从i 经 n －1 步到达j 的转移概率是M (n −1) 。 1 j 则有， m (n) p(n ) ∑p p(n−1) j i j