中南大学随机过程第九章.pptVIP

计算机科学与工程学院　顾小丰 随机过程与排队论 数学科学与计算技术学院 胡朝明 Email：math_hu2000@csu.edu.cn * 上一讲内容回顾 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 本讲主要内容 连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、绝对分布、遍历性、平稳分布 转移概率函数的性质 状态转移速度矩阵 生灭过程 §3.4 连续参数马尔可夫链 类似离散参数马氏链，只是把离散的时间参数 改为连续的时间参数，便可得到类似的结果。 转移概率函数 设{X(t),t?0}为连续参数马氏链，对任意i,j?E ＝{0,1,2,…}，任意非负实数s,t，条件概率 pij(s,t)＝P{X(t+s)=j|X(s)=i} 称为此马氏链{X(t),t?0}的转移概率函数，显然 连续参数齐次马氏链 若{X(t),t?0}为连续参数马氏链的转移概率pij(s,t)与 绝对分布、遍历性、平稳分布 设{X(t),t?0}为连续参数齐次马氏链 转移概率函数的性质 0?pij(t)?1，i,j?E； 转移概率函数的性质(续1) 设齐次马氏链{X(t),t?0}的状态有限，E={0,1,2,…, s}，如果存在t00，使得对任意i,j?E，都有pij(t0) 0，则此齐次马氏链{X(t),t?0}为遍历的齐次马氏链。 即 状态转移速度矩阵 设连续参数齐次马氏链{X(t),t?0}，状态空间E={0,1,2,…,s}，下面s+1阶方阵： 转移概率函数的性质(续2) 设齐次马氏链{X(t),t?0}，状态空间E={0,1,2,…,s}，其转移速度 转移概率函数的性质(续3) 绝对概率满足（福克-普朗克方程） §3.5 生灭过程 设{X(t),t?0}是连续参数齐次马氏链，状态 空间E＝{0,1,2,…,N}，如果它的状态转移速度矩 阵为 生灭过程的转移概率 上述生灭过程{X(t),t?0}的定义可等价地用 转移概率pij(t)表示为： 生灭过程的概率意义 设X(t)表示时刻t时某生物群体的个数，{X(t),t?0}为 生灭过程，由上式可见，在长度为t的一小段时间内，如果 忽略t的高阶无穷小量o(t)后，生灭过程的状态变化只有3 种情况： i→i+1，状态增加1，可理解为“生”了一个个体，其概率为?it，其生长率为?i； i→i-1，状态减少1，可理解为“死”了一个个体，其概率为?it，其生长率为?i； i→i，状态不增不减，群体个数不变，其概率为1-(?i+?i)t； 状态增加或减少2个或2个以上的概率为0。 生灭过程的状态转移速度图 生灭过程满足的柯尔莫哥洛夫方程 柯尔莫哥洛夫后退方程：P’(t)＝QP(t)，P(+0)＝I(单位阵) 福克－普朗克方程 绝对概率满足福克－普朗克方程： 福克－普朗克方程解的存在性 对有限状态E＝{0,1,2,…,N}的生灭过程，若满足pj(t)?0， 极限定理 对有限状态E＝{0,1,2,…,N}的生灭过程，{?j，j=0,1, 有限状态生灭过程的平稳分布 有限状态E={0,1,2,…,N}的生灭过程{X(t),t?0}是遍历的齐次连续参数马氏链。生灭过程存在极限分布即为平稳分布?＝{?j,j?E}。 ?Q＝0 即 有限状态生灭过程的平稳分布的解 解得生灭过程{X(t),t?0}，E={0,1,2,…,N}的平稳分布?＝{?j,j?E}为： 无限状态生灭过程的平稳分布 无限状态E={0,1,2,…,}的生灭过程{X(t),t?0}若满足 无限状态生灭过程的平稳分布的解 解得生灭过程{X(t),t?0}，E={0,1,2,…,}的平稳分布?＝{?j,j?E}为： 注 由生灭过程{X(t),t?0} 的平稳分布可得： ?j?j＝?j-1?j-1 此式的概率解释为：当群体大小X(t)处于统计平衡时，在一个很小的时间区间t时，群体大小增加1的概率(??j-1?j-1)等于群体大小减少1的概率(??j?j)。 例1 泊松过程{N(t),t?0}是生率为?的纯生过程。 例1(续) 前进方程： P’(t)＝P(t)Q， P(+0)=I 即 例2 机器维修问题 一部机器正常工作时间服从参数为?的负指数分布， 例2(续1) 解得 例2(续2) 平稳分布(等于极限分布) 例3 设有2个通信通道，每个通道正常工作时间服从参数为 例3(续) 平稳分布 ?Q＝0， 例4 电话问题 考虑有3条线路的电话交换台。呼唤次数是参数为?的 例4(续) 平稳分布 ?Q＝0， 本讲主要内容 连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、