第三篇 Markov过程.ppt

第三章 Markov过程 第一节 Markov链的定义和例子 定义3.1 如果对任何一列状态 及对任何 ，随机过程 满足Markov性质： 则称 为离散时间Markov链。 定义3.2 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率，记作 。当这一概率与n无关时称该Markov链有平稳转移概率，并记之为 ，对应Markov链称为时齐Markov链。 记n步转移概率为 ，以 为元 的矩阵 记作 ，称为Markov链的n步转移概率矩阵。 定理3.1 Markov链的n步转移概率矩阵满足 ，在上式中我们定 。 例3.1（一维随机游动）设一质点在直线上的点集 上作随机游动，每秒钟发生一次游动，游动规则是：如果质点处于2，3，4点处，则在下一秒钟，质点均以的概率向左，右移动一单位或停留在原处；如果质点处于1处，则在下一秒钟以概率1移动到2处；如果质点处于5处，则在下一秒钟以概率1移动到4处．因为质点不可越出1，5两点，故称为不可越壁的随机游动．用 表示在时刻n质点的位置，则 是—个齐次马氏链． (1) 试写出它的一步转移矩阵和二步转移矩阵； (2) 若初始分布为 ，试求在时的绝对分布 ． 解：(1)一步转移矩阵 二步转移矩阵  （2） 例3.2 设建筑物受到地震的损害程度为齐次马氏链，按损害程度分为5种状态：无损害称为处于状态1，轻损害称为处于状态2，中等损害称为处于状态3，严重损害称公处于状态4，全部倒塌称为处于状态5．设一步转移矩阵为 初始分布为 试求接连发生两次地震时，该建筑物的各状态的概率分布， 指出接连发生两次地震后，该建筑物完全倒塌的概率为多少? 严重损害概率为多少?中等以上损害概率为多少? 解：时的绝对分布为 从而知接连发生两次地震后，建筑物完全倒塌的概率为 严重损害的概率为 中等以上损害的概率为： 例3.3 (0－l传输系统)一个通信传输系统，通过n个阶段传输数字0和1，设在每一个阶段被下一个阶段接受的数字仍与这—阶段相同的转移概率为 ，且记第n阶段被接受到的数为 则 是一个齐次马氏链，其一步转移概率矩阵为 (1)设 求系统经过二级传输后的传真率和四级传输后的误码率(输入和输出相同的概率为传真率，相反的情况称误码率)． (2)设 又设初始分布为 ，若己知系统经过n级传输后的输出为l，问原发信号也为l的概率为多少？ 解 (1)由 可知系统二级传输后的传真率为： 系统四级传输后的误码率为： （2）根据贝叶斯公式，当已知系统经过n级传输后输出为1，原发信号也为1的概率为： 第二节 Markov链的状态分类 3.2.1 互达性和周期性 定义3.3 可达与互达．如果对某一 ，有 则称状态是从状态 可达的记作 ，它表示从状态 经过有限步的转移可以到达状态 。两个互相可达的状态 和 则称为是互达的记作 . 命题3.1 互达性是等价关系 1) 自反性， 2)若 ，则 ，对称性， 3)若 ，则 ，则 ，传递性。 两个状态如果是互达的就称他们是处在同一类中．Markov链的所有状态就由互达这一等价关系而分割成不