马尔科夫链-遍历性与极限分布.ppt

马尔科夫链的遍历性 遍历性 定义2 若马尔科夫链转移概率的极限 遍历性 遍历性 绝对概率的极限 平稳分布 具有遍历性的马尔科夫链的平稳分布 若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布 若初始概率是平稳分布，则任意时刻的绝对概率分布等于初始分布，也即为平稳分布 定理 对有限马尔科夫链，如果存在正整数k，使 则此链是遍历的 例1 直线上带反射壁的随机游动，如果质点只能取1,2,3三个点，一步转移概率矩阵为 解 例2 若例1中，质点只能取1,2,3三个点，一 解 例3 若例1中，质点只能取1,2,3三个点，一 解 * 第2章 随机过程 随机信号分析 * 第2章 随机过程 随机信号分析 存在且与 无关，则称此马尔科夫链具有遍历性 此时，若满足 为转移概率的极限分布 定义1 若马尔科夫链中的所有状态互通且均为 非周期的正常返状态，则称该链是遍历的 则称 即 在此称为转移概率的极限分布 若马尔科夫链为有限状态的，显然有， 满足 说明1： 构成一个概率分布 有限状态的遍历的马尔科夫链必存在极限分布 即 若马尔科夫链为无限状态的，则有， 又因为 说明2： 不一定构成一个概率分布 无限状态的遍历的马尔科夫链不一定存在极限分布，只有其极限概率构成概率分布时才存在极限分布 即：绝对概率的极限与转移概率的极限相同 即 对具有遍历性的马尔科夫链 有限马尔科夫链转移概率的极限分布一定是平稳分布 无限马尔科夫链转移概率的极限分布不一定是平稳分布 证 证 是方程组 满足条件 的唯一解 注：此定理给出了求极限分布(平稳分布)的方法 且极限分布 讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布） 计算二步转移概率矩阵 讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布） 步转移概率矩阵为 讨论该链的遍历性，若具有遍历性，则计算其极限分布（平稳分布） 步转移概率矩阵为