新概率论与数理统计及其应用 工业和信息化普通高等教育“十二五”规划教材 教学课件 1 李昌兴 第18讲 多步转移概.pptVIP

第18讲 多步转移概率的确定遍历性 一、多步转移概率的确定 二、遍历性 三、马尔可夫链的应用 * * 在线教务辅导网： 教材其余课件及动画素材请查阅在线教务辅导网 QQ:349134187 或者直接输入下面地址： 一、多步转移概率的确定 定理11.2 设{Xn，n?T1}是一齐次马氏链，则对任意的u，v ?I，其中I={a1，a2，…, an }，有 证 对于给定的 和 . 由条件概率定义和乘法定理得 B C A 马氏性和齐次性 证 对于给定的 和 . 由条件概率定义和乘法定理得 又由于事件组“ ”，构成样本空间的一个划分，因此 一、多步转移概率的确定 定理11.2 设{Xn，n?T1}是一齐次马氏链，则对任意的u，v ?I，其中I={a1，a2，…, an }，有 矩阵形式 一、多步转移概率的确定 定理11.2 设{Xn，n?T1}是一齐次马氏链，则对任意的u，v ?I，其中I={a1，a2，… }，有 矩阵形式 齐次马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步移概率完全确定. 结论 例 11.10 设{Xn，n ? 0}是具有三个状态0，1，2的齐次马尔可夫链，其一步转移概率矩阵为 初始分布 试求 解 先求出二步转移概率矩阵 解 先求出二步转移概率矩阵 解 先求出二步转移概率矩阵 例 11.11 只传输数字0和1的串联系统(0-1传输系统) 设一个单位时间传输一级,设每一级的传真率为p, 误码率为q=1-p. （1）当p =0.9时，求系统二级传输后的传真率与三级传输后的误码率． （2）设初始分布 又已知系统经n级传输后输出为1．求原发字符也为1的概率． 分析：首先计算一步转移概率矩阵，再求出n步转移概率矩阵. 解 先求出n步转移概率矩阵.而一步转移概率矩阵. 有相异的特征值: 解 先求出n步转移概率矩阵. 解 先求出n步转移概率矩阵. （1）当p =0.9时，系统二级传输后的传真率． 三级传输后的误码率 解 n步转移概率矩阵. (2) 根据贝叶期公式, 当系统经n级传输后输出为1, 原发字符也是1的概率为 解 n步转移概率矩阵. 对固定的状态j，不管链在某一时刻从什么状态（i=0 或1）出发，通过长时间的转移，到达状态j 的概率都趋近于?j . 这说明，当过程的转移无限进行下去时，过程的概率特性与随机过程的结构有着密切的联系，这就是我们要讨论的马尔科夫链的遍历性 一、多步转移概率的确定 定理11.2 设{Xn，n?T1}是一齐次马氏链，则对任意的u，v ?I，其中I={a1，a2，…, an }，有 二、遍历性 对于齐次马尔科夫链的n步转移概率Pij(n)，通常讨论两个方面的问题: 1.极限是 否存在？ 2.如果 极限存在，那么它是否与现在所处的状态ai无关. 一、多步转移概率的确定 二、遍历性 定义11.5 设齐次马氏链{Xn，n?T1} 的状态空间为I，如果对于所有aI ， aj ?I 转移概率 Pij(n)存在极限,即 或 则称此齐次马尔可夫链具有遍历性。 1. 遍历性概念 一、多步转移概率的确定 二、遍历性 称为齐次马尔可夫链的极限分布。 1. 遍历性概念 特别 定义11.5 设齐次马氏链{Xn，n?T1} 的状态空间为I，如果对于所有aI ， aj ?I 转移概率Pij(n)存在极限,即 .则称此齐次马尔可夫链具有遍历性。 2.有限链遍历性的充分条件 一、多步转移概率的确定 二、遍历性 1.遍历性概念 定理11.2 设齐次马氏链{Xn，n?0} 的状态空间为I={a1，a2，…, aN }，P是它的一步转移概率矩阵，如果存在正整数m，使对任意的ai ， aj ?I 都有 Pij(n) 0, 则此链具有遍历性；且有极限分布 , 并且它是线性方程组 的解. 例11.12 试说明带有两个反射壁的一维随机游动是遍历的，并求其极限分布（平稳分布） 解 易求一步转移概率矩阵 例11.12 试说明带有两个反射壁的一维