数理统计-随机过程马尔科夫链.ppt

数理统计与随机过程 第十一章;第十一章 马尔可夫链;§11.1 马尔可夫过程及其概率分布; 现用分布函数来表述马尔可夫性.设随机过程{X(t), t ∈T}的状态空间为I。如果对时间t的任意n个数值t1t2 …tn, n≥3, ti ∈T，在条件X(ti)=xi,xi∈I,i=1,2, …,n-1下, X(tn)的条件分布函数恰等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数;例1 设{X(t), t ≥0}是独立增量过程，且X(0)=0，证明{X(t), t ≥0}是一个马尔可夫过程。 证 由(1.1)式知，只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj),j=1,2, …,n-2相互独立即可。现由独立增量过程的定义知道，当0tjtn-1tn,j=1,2, …,n-2时，增量 X(tj)-X(0)与X(tn)-X(tn-1) 相互独立。根据条件X(0)=0和X(tn-1)=xn-1,即有 X(tj)与X(tn)-X(tn-1) 相互独立。 再由第三章§4定理知，此时X(tn)与X(tj)， j=1,2, …,n-2相互独立。这表明X(t)具有后无效性,即{X(t), t ≥0}是一个马尔可夫过程。 □ 由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过程是时间状态都连续的马氏过程。; 时间和状态都是离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为{Xn=X(n), n =0,1,2, …}，它可以看作在时间集T1={0,1,2, …}上对离散状态的马氏过程相继观察的结果.我们约定记链的状态空间I={a1,a2, …},ai ∈R。在链的情形，马尔可夫性通常用条件分布律来表示，即对任意的正整数n,r和0≤t1t2 …trm；m,n ∈ T1，有; 由于链在时刻m从任何一状态ai出发，到另一时刻m+n，必然转移到a1, a2, …诸状态中的某一个，所以; 在马氏链为齐次的情形下，由(1.3)式定义的转移概率 Pij(n)= P{Xm+n= aj∣Xm = ai} 称为马氏链的n步转移概率， P (n)= (Pij(n))为n步转移概率矩阵。在以下的讨论中特别重要的是一步转移概率 Pij=Pij(1)=P{Xm+1= aj∣Xm = ai} 或由它们组成的一步转移概率矩阵;例2 （0-1传输系统）在如下图只传传输数字0和1的串联系统中，设每一级的传真率（输出与输入数字相同的概率称为系统的传真率，相反情形称为误码率）为p，误码率为q=1-p，并设一个单位时间传输一级， X0是第一级的输入，Xn是第n级的??出(n≥1)，那么{Xn, n =0,1,2, …}是一随机过程，状态空间I={0,1}，而且当Xn=i , i∈I为已知时, Xn+1所处的状态的概率分布只与Xn=i 有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的。它的一步转移概率和一步转移概率分别为;例2 一维随机游动 设一醉汉Q在如下图所示直线的点集I={1,2,3,4,5}上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的概率规则是：如果Q现在位于点i(1i5)，则下一时刻各以1/3的概率向左或向右移动一格，或以1/3的概率留在原处；如果Q现在位于1(或5)这点上，则下一时刻就以概率1移动到2(或4)这一点上。1和5这两点称为反射壁。上面这种游动称为带有两个反射壁的随机游动。; 若以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态，那么{ Xn , n=0,1,2…}是一随机过程，状态空间就是I，而且Xn=i, i ∈I为已知时， Xn+1所处的状态的概率分布只与Xn= i 有关，而与Q在时刻n以前如何达到i是完全无关的，所以{ Xn , n=0,1,2…}是一马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为; 如果把1这一点改为吸收壁，即是说Q一旦到达1这一点，则就永远留在点1上，此时，相应链的转移概率矩阵只须把P中的第一横行改为(1,0,0,0,0)。总之，改变游动的概率规则,就可得到不同方式的随机游动和相应的马式链。 随机游动的思想在数值计算方法方面有重要应用。;图11-3; p11 —系统内恰有1个顾客的条件下，在Δt 间隔内，他因服务完毕而离去，而另一顾客进入系统，或者正在接受服务的顾客将继续要求服务，且无人进入系统的概率。 p11=p