2012第五章连续时间马尔可夫链.pdfVIP

随机过程 第五章：连续时间的马尔可夫链 第五章：连续时间的马尔可夫链 5.1 连续时间马尔可夫链定义 5.2 柯尔莫哥洛夫向前方程与向后方程 5.3 连续时间马尔可夫链的应用 5.1 连续时间的马尔可夫链定义 时间、状态都是离散的马尔可夫过程，称为马尔可夫链。 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔 可夫链。 时间、状态都是连续的马尔可夫过程，就是马尔可夫过程。 例如 ： 天气预报… 质点的随机游动… 赌博输光问题… 生死链… 连续时间的马尔可夫链定义： 设随机过程 {X(t),t≥0}，状态空间 I= {i , n≥0}，若对任 n 意0≤t t … 及 i ,i ,…,i ∈I，有 1 2 tn＋1 1 2 n+1 P {X (t ) i | X (t ) i ,X (t ) i , ,X (t ) i } n+1 n+1 1 1 2 2 n n P {X (t ) i | X (t ) i } n+1 n+1 n n 则称{X(t),t≥0}为连续时间马尔可夫链 。 上式中条件概率可以写成转移概率的形式： P {X (s +t) j | X (s ) i} p ij (s , t) 齐次连续时间的马尔可夫链定义： 若 pij (s,t) 的转移概率与 s 无关，则称连续时间马尔 可夫链具有平稳的或齐次的转移概率 ，此时转移概率简记 为： p ij (s,t) p ij (t) 其转移概率矩阵简记为： P(t) (p ij (t)) 在0时刻马尔可夫链进入状态 i，而且在接下来的s 个单位时间中过程未离开状态 i，问在随后的t个单位时 间中过程仍不离开状态 i 的概率是多少？ 状态i持续时间τi 状态i 时间轴 0 s s+t P {τ s +t |τ s } P {τ t} i i i 无记忆性。 一个连续时间的马尔可夫链，每当它进入状态 i，具有 如下性质： （1）在转移到另一状态之前处于状态 i 的时间服从参数为 vi 的指数分布； （2）当过程离开状态 i 时，接着以概率 p进入状态 j，且 ij ∑p ij (t ) 1 ≠ j i 当v =∞时，称状态 i 为瞬时状态； i 当v ＝0时，称状态 i 为吸收状态。 i 对于指数分布的随机变量 X(t) ： ⎧1−e−λx x ≥0 分布函数 F (x ) ⎨ 0 x 0