第三节连续时间马尔可夫链.ppt

第三节连续时间马尔可夫链 1 连续时间马尔可夫链定义 连续时间的马尔可夫链是这样一种随机过程，它： 具有无记忆性 状态空间是离散的 时间上是连续的 与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。 1 连续时间马尔可夫链定义 取值在非负整数集E上的随机过程X={Xt, t?T=[0,?)}, 如果对一切T中的时刻0?t1?t2?…?tn+1及满足 的任意状态 成立着 则称X是连续时间的马尔可夫链。 1 连续时间马尔可夫链定义 记pij(s,t)=P(Xt=j|Xs=i) 若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链。 记pij(t),成为长度为t的时间区间上的转移概率 为连续时间马氏链的齐次转移矩阵 其中 1 连续时间马尔可夫链定义 若满足下述条件 则称P(t)是X的标准转移矩阵。 有： 2 K-C方程 1.K-C方程： 写成矩阵的形式: P(t+s)=P(t)·P(s) 2. K氏前向方程 3. K氏后向方程 Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵。 3 Q矩阵 若 则 排队论中Q矩阵性质 行和为0 对角线元素为负数 如果Q矩阵中元素为0，则表示这种直接转移不可能发生 3 Q矩阵 齐次马尔可夫链状态之间的瞬时转移可以用图表示，图上标明状态之间瞬时强度转移值qij，叫状态流图 4 Q矩阵?P(t) 依据K氏微分方程，可以从Q矩阵求得P(t), P(0)=I. 例：考察E＝{0,1}的连续时间马氏链X，设t极小 4 绝对概率 初始分布(p0 ,p1 ,p2 ,p3 , …) pi=P(X(0)=i)=?i(0) 绝对分布(?0(t), ?1(t), ?2(t), ?3(t)…) ?j(t)=P(X(t)=j)= 由初始分布与t时间区间转移概率矩阵求t时刻绝对分布 为求瞬时概率分布函数的方程组 5 平稳分布 定义 若 存在，且 ，则{?j}称为齐次马尔可夫链的平稳分布 如何判别连续马尔可夫链的平稳分布必定存在？ 转移概率矩阵是标准的 不可约的齐次马氏链，则极限存在，且与初始分布无关 正常返的齐次马氏链，则此极限值为平稳分布，且全部大于0 5 平稳分布 如何求离散马尔可夫链的平稳分布？ 定理3.1 若 存在，则 。 根据 若存在平稳分布，则 4 平稳概率例题 一个连续时间的马氏链E={0,1,2},其状态强度转移矩阵和状态转移图为 平衡方程： 列出方程组 得： 主要公式对比 主要公式对比 6 两个定理 定理3.2 一个连续时间的齐次马氏链，系统处在同一状态的连续时间服从负指数分布 定理3.3 一个离散时间的齐次马氏链，在同一状态连续停留时间的分布是几何分布 因为马氏链停留在某状态下，发生转移的概率与在此状态停留了多长时间是无关的。 * * n n＋1 in in+1 与此历史无关 （书31页） 0 1 2 2.5 6 4 1 1 状态流图 1 0 2 1 1 1 2 连续时间马氏链 离散时间马氏链 ? ? 平稳分布 初始分布 pi t时刻分布 ?j(t) 初始分布 pi n时刻分布 瞬时分布 t时间区间转移概率 pij(t) t时间区间转移概率矩阵P(t) 强度转移矩阵 Q 一步转移概率 pij 一步转移概率矩阵P n步转移概率 n步转移概率矩阵 P(n) 转移概率 连续时间马氏链 离散时间马氏链 平稳分布 瞬时分布 后向 方程 前向 方程 K-C方程 *