随机过程第5讲[马尔科夫链定义和性质].pptVIP

《随机过程及其应用》 离散时间Markov链;内容提要; 安德雷.安德耶维奇.马尔可夫(A.A.Markov):  俄数学家，1856~1922 概率和统计领域专家。 当年Markov研究普希金诗歌里元音字母和辅音字母交替出现的规律时提出了Markov过程的数学模型 Markov过程80年代兴起，在现代工程、自然科学、社会科学中应用广泛。;1、马尔可夫过程定义;Markov过程也可表示为如下形式：;*;马尔可夫过程{?(t),t?T}可能取的值的全体组成过程的状态空间， ?(t)可能取的值称为状态。 ?(t)=x代表在 t 时刻过程（或系统）处在状态x 。马尔可夫过程的状态空间可以是连续的，也可以是离散的。马尔可夫过程的参数t可以是连续的，也可以是离散的。 Markov过程的分类 Markov链：状态值可数离散的Markov过程 离散时间Markov链（第二章） 连续时间Markov链（第三章）;马尔可夫链的定???;由定义可知：;一步转移概率的两个性质：;齐次马尔可夫链;2、 切普曼-柯尔莫哥洛夫方程式（C-K方程）; 对于m步转移概率矩阵有C-K方程：;*;C-K方程是指?(n)在n时处于状态i的条件下经过m+r步转移与n+m+r时到达状态j，可以先在n时从状态i出发，经过m步于n+m时到达某种中间状态k，再在n+m时从状态k出发经过r步转移于n+m+r时到达最终状态j，而中间状态k要取遍整个状态空间。 C-K方程也可以用矩阵形式表示： r=1时,可得： 一直推下去可得： 结论：马尔可夫链的m步转移概率由一步转移概率所完全决定;马尔可夫链的分布：;证明： ;马尔可夫链的例子;*;*;*;*;*;*;*;例：无限制随机游动问题 质点在直线上做随机游动。如某一时刻质点位于ｉ，则下一步质点以概率ｐ向右移动一格到达ｉ＋１。或以概率１－ｐ＝ｑ向左移一格到达ｉ－１。若以?(n) 表示时刻ｎ时质点的位置，则{?(n),n=0,1,2,…}是一个随机过程。而且当?(n) =i时， ?(n+1), ?(n+2),… ?(n+k),…等ｎ时刻后质点所处的状态只与　　 ?(n)=i有关，而与质点在ｎ以前是如何到达ｉ的完全无关。所以它是一个齐次马尔可夫链，其状态空间为I: {…,-2,-1,0,1,2,…}, 而其一步转移概率为：;下面求它的ｎ步转移概率pij(n)。已知每次转移只有两种可能，向左的概率为ｑ，向右的概率为ｐ，而ｎ次转移的结果是从ｉ到ｊ。如果ｎ次转移中向右m1次，向左m2次，则 ;例：有限制的随机游动问题（带有两个吸收壁的随机游动）;例：赌徒输光问题;考虑质点从j出发移动一步后的情况。在以概率p移到j+1的假设下，到达0状态先于到达 c状态的概率为uj+1 。同理，在以概率q移到j-1的前提下，到达0先于到达c的概率为uj-1。利用全概率定理就可以得到上述方程。这一方程实质上是一差分方程，它的边界条件是: ;*;因此：;由以上计算结果可知，当r?1即p ?q时，甲先输光的概率为;*;*;*;*;*;有些问题虽然不是马尔可夫链，但经过某些处理，仍可以把它看作马尔可夫链。 例：在天气预报问题中，认为今日是否下雨依赖于前两天的天气状况，并规定：昨日、今日都下雨，明日有雨的概率为0.7，今日有雨、昨日无雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日均无雨，明日有雨的概率为0.2。该问题不是马尔可夫链。但是，经过如下处理却可以把它看作马尔可夫链。 ;设昨日、今日连续两天有雨称为状态0(RR)，昨日无雨、今日有雨称为状态1(NR)，昨日有雨、今日无雨称为状态2(RN)，昨日、今日均无雨称为状态3(NN)，于是形成了四个状态的马尔可夫链，其中 ;其中R代表有雨，N代表无雨。于是它的一步转移概率矩阵为;例如，若星期一、星期二均下雨，求星期四下雨的概率。 从一步转移概率矩阵可以计算出两步转移概率矩阵