随机过程第5讲〔马尔科夫链定义和性质〕.pptVIP

例：无限制随机游动问题 质点在直线上做随机游动。如某一时刻质点位于ｉ，则下一步质点以概率ｐ向右移动一格到达ｉ＋１。或以概率１－ｐ＝ｑ向左移一格到达ｉ－１。若以?(n) 表示时刻ｎ时质点的位置，则{?(n),n=0,1,2,…}是一个随机过程。而且当?(n) =i时， ?(n+1), ?(n+2),… ?(n+k),…等ｎ时刻后质点所处的状态只与　　 ?(n)=i有关，而与质点在ｎ以前是如何到达ｉ的完全无关。所以它是一个齐次马尔可夫链，其状态空间为I: {…,-2,-1,0,1,2,…}, 而其一步转移概率为： * 郑州大学信息工程学院 * 下面求它的ｎ步转移概率pij(n)。已知每次转移只有两种可能，向左的概率为ｑ，向右的概率为ｐ，而ｎ次转移的结果是从ｉ到ｊ。如果ｎ次转移中向右m1次，向左m2次，则 * 郑州大学信息工程学院 * 例：有限制的随机游动问题（带有两个吸收壁的随机游动） * 郑州大学信息工程学院 * 随机游动的状态空间为I：{0，1，2， a}，0、 a 两状态为吸收态。该过程仍是齐次马尔可夫链，它的一步转移概率矩阵为 例：赌徒输光问题 两个赌徒甲、乙进行一系列赌博。在每一局中甲获胜的概率为p ，乙获胜的概率为q，p+q=1，每一局后，负者要付一元给胜者。如果起始时甲有资本a 元，乙有资本b 元，a+b=c元，两人赌博直到甲输光或乙输光为止，求甲输光的概率。 这个问题实质上是带有两个吸收壁的随机游动。这时的状态空间为{0，1，2，…, c }, c=a+b, a?1,b ? 1。现在的问题是求质点从a 点出发到达0状态先于到达c 状态概率。 * 郑州大学信息工程学院 * 解 :设0jc，设uj为质点从j 出发到达0状态先于到达c状态的概率。根据全概率公式有: 考虑质点从j出发移动一步后的情况。在以概率p移到j+1的假设下，到达0状态先于到达 c状态的概率为uj+1 。同理，在以概率q移到j-1的前提下，到达0先于到达c的概率为uj-1。利用全概率定理就可以得到上述方程。这一方程实质上是一差分方程，它的边界条件是: * 郑州大学信息工程学院 * * 郑州大学信息工程学院 * 因此： * 郑州大学信息工程学院 * 故 当r=1时 u0-uc=1=cd0 而 uj=(c-j)d0 因此 故 由以上计算结果可知，当r?1即p ?q时，甲先输光的概率为 * 郑州大学信息工程学院 * 当r=1即p=q时，甲先输光的概率为b/c 用同样的方法可以求得乙先输光的概率。当p ?q时，乙先输光的概率为 当p=q时，乙先输光的概率为a/c * 郑州大学信息工程学院 * 例 * 郑州大学信息工程学院 * 解 * 郑州大学信息工程学院 * 概率为 * 郑州大学信息工程学院 * 某计算机房的一台计算机经常出故障,研究者 每隔15分钟观察一次计算机运行状态,收集了24小 时的数据 (共作97次观察) . 用1表示正常状态, 用0 表示不正常状态, 所得的数据序列如下: 1110010011111110011110111111001111111110001101101 111011011010111101110111101111110011011111100111 分析 状态空间: I={0, 1}. 例 * 郑州大学信息工程学院 * 96 次状态转移的情况: 因此, 一步转移概率可用频率近似地表示为: 有些问题虽然不是马尔可夫链，但经过某些处理，仍可以把它看作马尔可夫链。 例：在天气预报问题中，认为今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都下雨，明日有雨的概率为0.7，今日有雨、昨日无雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。该问题不是马尔可夫链。但是，经过如下处理却可以把它看作马尔可夫链。 * 郑州大学信息工程学院 * 设昨日、今日连续两天有雨称为状态0(RR)，昨日无雨、今日有雨称为状态1(NR)，昨日有雨、今日无雨称为状态2(RN)，昨日、今日均无雨称为状态3(NN)，于是形成了四个状态的马尔可夫链，其中 * 郑州大学信息工程学院 * 其中R代表有雨，N代表无雨。于是它的一步转移概率矩阵为 * 郑州大学信息工程学院 * 有了一步转移概率矩阵就可以对今后的天气进行预报。 例如，若星期一、星期二均下雨，求星期四下雨的概率。 从一步转移概率矩阵可以计算出两步转移概率矩阵 * 郑州大学信息工程学院 * 星期四下雨意味着过程所处的状态为0或1，因此星期一、二连续下雨，星期四下雨的概率为 郑州大学信息工程学院 郑州大学信息工程学院 郑州大学信息工程学院 郑州大