第五章连续时间的Markov链2.doc

第五章《连续光阴的马尔可夫链》 第五章连续光阴的马尔可夫链 第四章我们议论争辩了光阴和状况都是失散的Markov链,本章 我们商讨的是光阴连续.状况失散的Markov进度,即连续光阴的 Markov链.连续光阴的Markov链能够懂得为一个做以下活动的随 机进度：它以一个失散光阴Markov链的方法从一个状况转移到另 一状况,在两次转移之间以指数分布在前一状况停留.这个指数分布只与进度现在的状况相关,与曩昔的状况没关（拥有无记忆性）,但与将来转移到的状况自力. 5.1连续光阴马尔可夫链的根本观点 界说5.1设随机进度{X(t),t0},状况空间I{in,n1},若对随 意任性的正整数0t1t2tn1及任意任性的非负整数 i1,i2,,in1I,前提概率满足 PX(tn1)in1|X(tn)in （5.1） 则称{X(t),t0}为连续光阴的Markov链. 由界说知,连续光阴的Markov链是拥有Markov性（或称无后效 性）的随机进度,它的直不雅意义是：进度在已知现在时刻tn及一 切曩当年刻所处状况的前提下,将来时刻tn1的状况只依赖于现在 的状况而与曩昔的状况没关. 记(5.1)式前提概率的一般形势为 P{X(st)j|X(s)i}pij(s,t) 5.2） 1 第五章《连续光阴的马尔可夫链》 它示意系统在s时刻处于状况i,经由光阴t后在时刻st转移 到状况j的转移概率,平常称它为转移概率函数.一般地,它不只与 t相关,还与s相关. 若(5.2)式的转移概率函数与s没关,则称连续光阴Markov链拥有平稳的转移概率函数,称该Markov链为连续光阴的齐次（或时 齐）Markov链.此时转移概率函数简记为pij(s,t)pij(t).响应地,转 移概率矩阵简记为 ( )( ( )),(, , t 0) . Pt pijt i jI 若状况空间I{0,1,2, },则有 p00(t) p01(t) p02 (t)... p10(t)p11(t) p12 (t) P(t) pij(t)............ pn0(t) pn1(t) pn2(t) ............ （5.3） 假定在某时刻,比方说时刻0,Markov链进入状况i,在接下来的 s个单位光阴内进度未分开状况i（即未产生转移）,我们要议论辩 论的问题是在随后的t个单位光阴中进度仍不分开状况i的概率是 若干？由Markov性知,进度在时刻s处于状况i的前提下,在区间 [s,st]中仍处于状况i的概率正是它处在状况i起码t个单位光阴的 （无前提）概率,若记i为进度在转移到另一状况以前停留在状况 的光阴,则对全部s,t0有 可见,随机变量i拥有无记忆性,是以,i折服指数分布. 是以,一个连续光阴的Markov链,每当它进入状况i,拥有以下性质： 2 第五章《连续光阴的马尔可夫链》 1在转移到另一个状况以前处在状况 i 的光阴折服参数为 vi （） 的指数分布; 2）当进度分开状况i时,接着以概率pij进入状况j,且 pij1. ji 当vi时,称状况i是刹时状况,由于进度一旦进入状况就分 开;若vi0,称状况为接收状况.由于进度一旦进入永远不再分开. 只管刹时状况在理论上是可能的,但我们此后仍旧假定全部i,0vi.是以,商酌连续光阴Markov链,能够依照失散光阴的Markov链从一个状况转移到另个状况,但在转移到另一状况以前, 它在各个状况停留的光阴折服指数分布,而且在状况i停留的光阴 与下一个状况一定是相互自力的随机变量. 定理5.1齐次Markov链的转移概率函数拥有以下性质： 1）pij(t)0; （2） pij(t) 1; jI （3） pij ( t ) pik ( ) pkj ( ). s t s kI （2）式注明转移概率矩阵中任一元素行和为 1;（3）式称为连续 光阴齐次Markov链的Chapman Kolmogorov方程,简称CK方程. 证明（1）和（2）由概率界说及pij(t)的界说易知,下边只证 实（3）式 由全概率公式和Markov性可得 对于转移概率函数,我们约定 limpij(t) 1, i j, ij t0 0 i j 3 第五章《连续光阴的马尔可夫链》 （） 称上式为连续性前提或正则性前提.连续性前提担保转移概率函数 pij(t)在鸿沟点t0的直不雅意义在于：当系统经由很短光阴,其状 况几乎不变,也就是认为系统刚进入一个状况又连忙分开这个状况 是不可能的. 界说5.3连续光阴Markov链{X(t),t0}在初始时刻（即零时 刻）取各状况的概率 pipi(0)P{X(0)i},iI 5.5） 称为它的初始分布.{X(t),t0}在t时刻取各状况的概率 称为它在时刻t的绝对（概率）分布. 初始分布和绝对分布都是概率分布,对于