随机过程Ch5连续时间马尔可夫链.ppt

第五章 连续时间马尔可夫链 I 马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T 5.1 连续时间马尔可夫链 定义5.1 设随机过程{X(t)，t ?0 }，状态空间I={0,1,2,?}，若对任意 0?t1 t2?tn+1及非负整数i1,i2, ?,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ?0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 5.1 连续时间马尔可夫链 定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j?I，t ?0 性质：若?i为过程在状态转移之前停留在状态i的时间，则对s, t?0有 (1) (2) ?i 服从指数分布 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 (2)设?i的分布函数为F(x), (x?0), 则生存函数G(x)=1-F(x) 由此可推出G(x)为指数函数，G(x)=e-?x, 则F(x)=1-G(x)=1-e-?x为指数分布函数。 5.1 连续时间马尔可夫链 过程在状态转移之前处于状态i的时间?i服从指数分布 (1)当?i=?时， 状态i的停留时间?i 超过x的概率为0，则称状态i为瞬时状态； (2)当?i=0时， 状态i的停留时间?i 超过x的概率为1，则称状态i为吸收状态。 5.1 连续时间马尔可夫链 定理5.1 齐次马尔可夫过程的转移概率具有下列性质： (1) pij(t)?0; (2) (3) 证 由概率的定义，(1)(2)显然成立，下证(3) 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 注： 此为转移概率的正则性条件。 5.1 连续时间马尔可夫链 定义5.3 (1)初始概率 (2)绝对概率 (3)初始分布 (4)绝对分布 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 例5.1 证明泊松过程{X(t), t?0}为连续时间齐次马尔可夫链。 证 先证泊松过程的马尔可夫性。 泊松过程是独立增量过程，且X(0)=0，对任意0t1 t2? tn tn+1有 5.1 连续时间马尔可夫链 另一方面 即泊松过程是一个连续时间马尔可夫链。 5.1 连续时间马尔可夫链 5.2 柯尔莫哥洛夫微分方程 引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i, j?I，pij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在 5.2 柯尔莫哥洛夫微分方程 称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。 推论 对有限齐次马尔可夫过程，有 5.2 柯尔莫哥洛夫微分方程 若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,?,n} 问题：能否由Q可求转移概率？ 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 向后方程的矩阵形式：P?(t)=QP(t) 向前方程的矩阵形式：P?(t)=P(t)Q 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 定义5.4 设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)0， pji(t2)0，则称状态i与j是互通的。 若所有状态都是互通的，则称此马尔可夫链为不可约的。 可定义状态的常返性 5.2 柯尔莫哥洛夫微分方程 例5.2 设两个状态的连续时间马尔可夫链，状态转移概率满足，试讨论平稳分布。 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 转移概率为 5.2