南京邮电大学随机过程讲稿-第四章（一）.pptVIP

第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 (1)已知开始第一人拿球，经三次传球后又回到 第一人的概率； (2)开始第一人拿球，经三次传球后又回到第一 人的概率； (3)经三次传球后第一人拿球的概率； (4)经三次传球后，又回开始拿球人的概率。 1 3 4 2 又已知系统经n级传输后输出为1,问原字符 也是1的概率是多少? 由线性代数知识,可将P表示成对角阵 利用类似的方法,可得n步转移概率矩阵为 对齐次马尔可夫链,虽然一步转移概率能够完全 决定马尔可夫链的统计规律，但仍有许多理论上和 实际上的问题需要我们作进一步的讨论。 §4.2 马尔可夫链的状态分类 一.状态的分类 是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。 ② ④ ③ ① * * §4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念 2、马氏链的转移概率 称条件概率 3、一步转移概率及矩阵 称为马氏链的一步转移概率矩阵 4.多步转移概率的确定 通常我们还规定： (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 直观解释对照图 用矩阵形式表示为： 表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。 5、初始概率与绝对概率 写成向量形式: (2) 绝对概率与初始概率的关系 表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。 （3）马氏链的有限维分布 总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； 2) 绝对概率可由初始概率及n步转移概率确定 3)有限维分布可完全由初始概率及一步转移概率确定。 例 带一个吸收壁的随机游动 用此模型可描述赌徒输光问题 解：这是带两个吸收壁的随机游动，其状态空间为：