数理统计-随机过程马尔科夫链.ppt

  1. 1、本文档共34页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数理统计-随机过程马尔科夫链

数理统计与随机过程 第十一章;第十一章 马尔可夫链;§11.1 马尔可夫过程及其概率分布; 现用分布函数来表述马尔可夫性.设随机过程{X(t), t ∈T}的状态空间为I。如果对时间t的任意n个数值t1t2 …tn, n≥3, ti ∈T,在条件X(ti)=xi,xi∈I,i=1,2, …,n-1下, X(tn)的条件分布函数恰等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数;例1 设{X(t), t ≥0}是独立增量过程,且X(0)=0,证明{X(t), t ≥0}是一个马尔可夫过程。 证 由(1.1)式知,只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj),j=1,2, …,n-2相互独立即可。现由独立增量过程的定义知道,当0tjtn-1tn,j=1,2, …,n-2时,增量 X(tj)-X(0)与X(tn)-X(tn-1) 相互独立。根据条件X(0)=0和X(tn-1)=xn-1,即有 X(tj)与X(tn)-X(tn-1) 相互独立。 再由第三章§4定理知,此时X(tn)与X(tj), j=1,2, …,n-2相互独立。这表明X(t)具有后无效性,即{X(t), t ≥0}是一个马尔可夫过程。 □ 由上例知,泊松过程是时间连续状态离散的马氏过程;维纳过程是时间状态都连续的马氏过程。; 时间和状态都是离散的马尔可夫过程称为马尔可夫链,简称马氏链,记为{Xn=X(n), n =0,1,2, …},它可以看作在时间集T1={0,1,2, …}上对离散状态的马氏过程相继观察的结果.我们约定记链的状态空间I={a1,a2, …},ai ∈R。在链的情形,马尔可夫性通常用条件分布律来表示,即对任意的正整数n,r和0≤t1t2 …trm;m,n ∈ T1,有; 由于链在时刻m从任何一状态ai出发,到另一时刻m+n,必然转移到a1, a2, …诸状态中的某一个,所以; 在马氏链为齐次的情形下,由(1.3)式定义的转移概率 Pij(n)= P{Xm+n= aj∣Xm = ai} 称为马氏链的n步转移概率, P (n)= (Pij(n))为n步转移概率矩阵。在以下的讨论中特别重要的是一步转移概率 Pij=Pij(1)=P{Xm+1= aj∣Xm = ai} 或由它们组成的一步转移概率矩阵;例2 (0-1传输系统)在如下图只传传输数字0和1的串联系统中,设每一级的传真率(输出与输入数字相同的概率称为系统的传真率,相反情形称为误码率)为p,误码率为q=1-p,并设一个单位时间传输一级, X0是第一级的输入,Xn是第n级的??出(n≥1),那么{Xn, n =0,1,2, …}是一随机过程,状态空间I={0,1},而且当Xn=i , i∈I为已知时, Xn+1所处的状态的概率分布只与Xn=i 有关,而与时刻n以前所处的状态无关,所以它是一个马氏链,而且还是齐次的。它的一步转移概率和一步转移概率分别为;例2 一维随机游动 设一醉汉Q在如下图所示直线的点集I={1,2,3,4,5}上作随机游动,且仅在1秒、2秒等时刻发生游动。游动的概率规则是:如果Q现在位于点i(1i5),则下一时刻各以1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于1(或5)这点上,则下一时刻就以概率1移动到2(或4)这一点上。1和5这两点称为反射壁。上面这种游动称为带有两个反射壁的随机游动。; 若以Xn表示时刻n时Q的位置,不同的位置就是Xn的不同状态,那么{ Xn , n=0,1,2…}是一随机过程,状态空间就是I,而且Xn=i, i ∈I为已知时, Xn+1所处的状态的概率分布只与Xn= i 有关,而与Q在时刻n以前如何达到i是完全无关的,所以{ Xn , n=0,1,2…}是一马氏链,而且还是齐次的,它的一步转移概率和一步转移概率矩阵分别为; 如果把1这一点改为吸收壁,即是说Q一旦到达1这一点,则就永远留在点1上,此时,相应链的转移概率矩阵只须把P中的第一横行改为(1,0,0,0,0)。总之,改变游动的概率规则,就可得到不同方式的随机游动和相应的马式链。 随机游动的思想在数值计算方法方面有重要应用。;图11-3; p11 —系统内恰有1个顾客的条件下,在Δt 间隔内,他因服务完毕而离去,而另一顾客进入系统,或者正在接受服务的顾客将继续要求服务,且无人进入系统的概率。 p11=p

文档评论(0)

wuyoujun92 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档