应用随机过程--第五章.ppt

* 由以上讨论知,转移概率决定了马氏链的运动的统计规律. 因此, 确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一. * 设每一级的传真率为 p, 误码率为 q=1-p. 设一个单位时间传输一级, 只传输数字0和1的串联系统 ( 传输系统) 如图: 分析: 例2 * 而与时刻 n 以前所处的状态无关. 所以它是一个马氏链, 且是齐次的. 一步转移概率 一步转移概率矩阵 * 在 传输系统中, 传输后的误码率; 系统经 n 级传输后输出为 1, 问原发字符也是 1 的 概率是多少? * 解 先求出 n 步转移概率矩阵. 有相异的特征值 所以可将 P 表示成对角阵 * 传输后的误码率分别为: * (2) 根据贝叶斯公式, 当系统经 n 级传输后输出为 1, 原发字符也是 1 的概率为: * 说明 n步转移概率矩阵为 矩阵一般可表示为: 对于只有两个状态的马氏链, 一步转移概率 通过有实际背景的例子介绍马氏链的基本概念和性质 例1. 人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8, 而今年患病、明年转为健康状态的概率为0.7， 6.2 健康与疾病 人的健康状态随着时间的推移会随机地发生转变 保险公司要对投保人未来的健康状态作出估计, 以制订保险金和理赔金的数额 若某人投保时健康, 问10年后他仍处于健康状态的概率 Xn+1只取决于Xn和pij, 与Xn-1, …无关 状态与状态转移 状态转移具有无后效性 1 2 0.8 0.2 0.3 0.7 n 0 a2(n) 0 a1(n) 1 设投保时健康 给定a(0), 预测 a(n), n=1,2… 设投保时疾病 a2(n) 1 a1(n) 0 n??时状态概率趋于稳定值，稳定值与初始状态无关 3 … 0.778 … 0.222 … ∞ 7/9 2/9 0.7 0.77 0.777 … 0.3 0.23 0.223 … 7/9 2/9 状态与状态转移 1 2 0.8 0.2 0.3 0.7 1 0.8 0.2 2 0.78 0.22 1 2 3 0.1 0.02 1 0.8 0.25 0.18 0.65 例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病 p11=0.8, p12=0.18, p13=0.02 死亡为第3种状态，记Xn=3 健康与疾病 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 n 0 1 2 3 ? a2(n) 0 0.18 0.189 0.1835 ? a3(n) 0 0.02 0.054 0.0880 ? a1(n) 1 0.8 0.757 0.7285 ? 设投保时处于健康状态，预测 a(n), n=1,2… 不论初始状态如何，最终都要转到状态3 ； 一旦a1(k)= a2(k)=0, a3(k)=1, 则对于nk, a1(n)=0， a2(n)=0, a3(n)=1, 即从状态3不会转移到其它状态。 状态与状态转移 0 0 1 ? 50 ? 0.1293 ? 0.0326 ? 0.8381 ? 马氏链的基本方程 基本方程 马氏链的两个重要类型 1. 正则链 ~ 从任一状态出发经有限次转移能以正概率到达另外任一状态（如例1）。 w ~ 稳态概率 马氏链的两个重要类型 2. 吸收链 ~ 存在吸收状态（一旦到达就不会离开的状态i, pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例2）。 6.3 钢琴销售的存贮策略 钢琴销售量很小，商店的库存量不大以免积压资金 一家商店根据经验估计，平均每周的钢琴需求为1架 存贮策略：每周末检查库存量，仅当库存量为零时，才订购3架供下周销售；否则，不订购。 估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。 背景与问题 问题分析 顾客的到来相互独立，需求量近似服从泊松分布，其参数由需求均值为每周1架确定，由此计算需求概率 存贮策略是周末库存量为零时订购3架 ?周末的库存