第五章 连续时间马尔可夫链.ppt

用 记时刻 系统中的人数, 则 二、生灭过程实例 ◎ 排队系统 假设顾客按照参数为 的泊松过程来到一个有 个 服务员的服务站, 即相继到达顾客的时间间隔是均值为 的独立指数随机变量. 每一个顾客一来到, 如果有空闲服务员, 则直接进 行服务, 否则进入队列等候. 当一个服务员结束一个顾 客的服务后, 顾客离开系统, 排队中的下一位顾客进入 服务. 假定相继的服务时间是独立的指数随机变量, 均值 为 . 是生灭过程: 上述生灭过程称为M/M/s排队系统. M表示马尔可夫 过程, s 表示服务员的个数. 是顾客到来速率， 服务员的服务速率. 特别, 在M/M/1排队系统中, 若 则由生灭过程的平稳分布公式可得 是一个 ◎ 有迁入的线性增长模型 若生灭过程的参数为 若则称该过程为有迁入的线性增长模型. 有迁入的线性增长模型的实际意义： 假定某生物群体中每个个体以指数率 出生; 群体由于外界迁入因素又以指数率 增加, 则整个出生率为 又假定生物群体中每个个体以指数率 死亡, 从而 若 此时是一个纯生过程 , 称为尤尔过程. ◎ 传染病模型 考虑有 个个体的群体, 在时刻 0由一个已感染的 的个体与 个未受感染但可能被感染的个体组成. 个体一旦感染将永远地出于此状态. 假设在任意长为 的时间内任意一个已感染的个体 将以概率 引起任意未感染者感染. 用 记时刻 群体中已受感染的个体数, 则过程 是一个纯生过程: 记 为直至整个群体被感染的时间, 为从第 个 已感染者到第 个已感染者的时间, 则有 随机过程讲义 第五章 连续时间的马尔可夫链 第五章 连续时间的马尔可夫链 §5.1 连续时间的马尔可夫链 §5.2 科尔莫哥洛夫微分方程 §5.3 生灭过程 §5.1 连续时间的马尔可夫链 定义5.1 设随机过程{X(t), t ?0 }, 状态空间I={0,1,2,?}, 若对任意0?t1 t2?tn+1及非负整数i1,i2, ?,in+1 , 有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}, 则称{X(t), t ?0 }为连续时间马尔可夫链. 定义5.2 过程在s时刻处于状态i, 经过时间t后转移到状态j的概率pij(s,t)= P{X(s+t)=j|X(s)=i} 称为转移概率. 若转移概率与起始时刻s无关, 只与时间间隔t有关, 则称连续时间马尔可夫链具有平稳的或其次的转移概率, 记为 pij(s,t)=pij(t), 其转移概率矩阵简记为记为P(t)=(pij(t)) , (i,j?I，t ?0 ). 连续时间马尔可夫链的性质 若?i为过程在状态转移之前停留在状态i的时间, 则 对s, t?0有 (1) (2) ?i 服从指数分布. 证 s s+t 0 ?i i i i t i (1) 如图所示, 有 (2) 设 由于 可得 由此可推出G(t)为指数函数, 设?i的分布函数为F(x), (x?0), 则有 即有 故?i 服从指数分布. 1) 当?i=?时, 的停留时间?i 超过x的概率为0, 则称状态i为瞬时状态； 2) 当?i=0时, 的停留时间?i 超过x的概率为1,则称状态i为吸收状态. 两点说明： 状态i 状态i 定理5.1 齐次马尔可夫过程的转移概率具有下列性： (1) pij(t)?0; (2) (3) 证 由概率的定义, (1)(2)显然成立, 下证(3). 注：转移概率的正则性条件 正则性 分布律 转移方程 时间离散 时间连续 时间离散与时间连续马尔可夫链的比较 定义5.3 (4) 绝对分布 (1) 初始概率 设 为连续时间的马尔可夫过程, 则 (2) 绝对概率 (3) 初始分布 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分 布具有下列性质： (1) (2) (3) (4) (5) 例5.1 证明泊松过程{X(t), t?0}为连续时间齐次马尔可夫链. 证 先证泊松过程的马尔可夫性. 根据定义知, 泊松过程是独立增量过程, 且X(0)=0, 意0t1 t2? tn t