第8讲第4章马尔科夫链.pptVIP

§4.3 状态空间的分解 定义：C为状态空间I的子集， 则称C为I的闭集。 引理4.4：若C为状态空间I的闭子集，则对任意 若对任意的 显然：若C为状态空间I的闭子集，则C中元素形成的转移概率子矩阵 是随机矩阵 1 2 3 4 1 1 1 0.8 0.2 例如：从下面状态空间为I={1,2,3,4}的马尔科夫链的转移概率图可以看到 {2,3}是一个闭集 {2,3}对应的子矩阵(粉色部分） 是随机矩阵。 注意到：{2,3，4}也是闭集 {2,3，4}对应的子矩阵（绿色部分） 也是随机矩阵。 1 2 3 4 1 1 1 0.8 0.2 但是闭集{2,3}中的两个状态互通 而闭集{2,3，4}中的3个状态不是互通的。3不可达4。 同样I={1，2,3，4}也可以看做闭集， 但其中的的4个状态不是互通的。 为区别状态子集的这种不同特点，引入不可约子集的概念： 定义：若C为状态空间I的闭子集，且C中任意两个状态互通，则称C是I的不可约闭集； 特别：若Markov链I的任意两个状态互通，则称该Markov链是不可约的。 例6： 证明（马尔科夫链的常返态的几个性质） 则表明由 出发不能概率1返回 ， 证明 （1） 所以存在n 0 使 则导致由 出发不能概率1返回 ， （2）和（1）的证明类似。 （3） 由（2）知， 本例是马尔科夫链的常返态的一个重要性质！ 据此可对是马尔科夫链进行状态分解： 定理4.10：任一马氏链的状态空间I，都可以唯一分解为互不相交的子集 之和： 其中 是所有非常返态的集合。 是不可约的常返闭集 注1： 注2： 是所有非常返态的集合，其中各状态未必互通，周期也未必相同。 注3： 证明 首先将状态空间按个状态的常返性分解为： 然后，将 进一步分解： 作 作 同理， 是不可约的常返闭集。 重复此过程，得 是不可约的常返闭集 为常返集， 为非常返集。 证毕！ §4.4 的渐近性质与平稳分布 定理*： 证明： 一、 的渐近性质 为非常返，或零常返时， 并注意到 得： 为正常返 时， 得： 为正常返 时： 注 若马氏链不可约， 此时该链所有的状态属性相同。 若不可约马氏链为正常返非周期的，则： 若全为非常返或零常返的，或为正常返常周期的， 极限结论和定理*相同。 Markov链极限研究中，对状态i常返特性的正判别和i的平均返回时间 是两个关键的问题。 下面我们给出在常见的有限维状态空间时状态常返性的一些结论； 但是利用定义判别和计算都比较困难。 然后我们介绍平稳分布，并利用平稳分布 ，计算 并研究Markov链极限 推论1： （1）有限马氏链，至少有一个正常返态，不可能 有零常返态 若所有的状态为非常返或零常返，那么 证明：（1） 试中令 得：0=1，矛盾。 所以，有限马氏链必有正常返态。 （*） （*） 设有限马科科夫链有N个状态，则 （2）有限不可约马氏链，所有的状态必为正常返！ 二、有限马氏链的状态特点 根据定理*，有： 若有限马科科夫链存在零常返状态i， 构造状态空间的子集： 则C(i)是不可约有限闭集，形成子马尔科夫链。 而C(i) 中的所有状态为零常返， 所以，有限马氏链不存在零常返态。 这与有限马尔科夫链必有正常返态矛盾。 （2） 根据（1） 有限马氏链，至少有一个正常返态， 而不可约马尔科夫链所有的状态具有相同的常返性，故全为正常返态。 也称为正常返链。 推论2： 马氏链若有零常返态，则必有无穷多个零常返态 三、平稳分布 定义4.11 则称 为该马氏链的 平稳分布 注： 即： 若 为马氏链 的 平稳分布，则 即： 表明 Markov链一旦在某个时刻进入平稳分布，则以后的绝对概率分布保持不变，这也是“平稳”的含义。 定理4.16 不可约非周期的马氏链，是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布： 证明： 充分性： 设 为马氏链 的 平稳分布，则 故上式右端求极限可以和级数交换次序。 与 矛盾， 所以该链必为正常返链。 若链不为正常返（则为非常返，或零常返），则： 必要性： 设该马氏链是正常返的，所以有： 矛盾。 所以： 为该马氏链的平稳分布。 所以，马氏链存在平稳分布，且极限分布 定理： 则绝对分布也有极限分布，且： 证明 若转移概率具有极限分布： 例1 ：设马尔科夫链的转移概率矩阵为 求马尔科夫链的极限分布及各状态的平均返回时间 解：这是一个不可约非周期，有限状态的马氏链， 所以必有