第3章马氏过程剖析.ppt

随机数学 第三章 马氏过程 教师: 陈 萍 prob123@mail.njust.edu.cn 3.1 Markov链一、马氏链的概念及转移矩阵 §3.2 Markov链的状态分类与判别 定义3.2.3 若一Markov链的任意两个状态都相通，则称为不可约链。 定义3.2.8 设C ? E，若对任意的i?C，和任意的j?C, 及任意的n?T，pij(n)=0，则称C为E的闭集。 3.3 状态空间分解定理 3.4 极限定理及平稳分布 Markov链的大数定律 (*张) 小结 相通、闭集、不可约 状态 常返 瞬时 正常返、 零常返 周期、 非周期 遍历 定理3.2.7 设马氏链的状态空间为E， i, j?E， （1）若 i ?E是一个周期态，且 i?j，则 j 也是周期态，且di= dj ； （2）若此链不可约，且对i ?E有pii 0，则此链是非周期链。 任意Markov链的状态空间E可唯一分解为有限或可列个互不相交的子集之和 其中 N由全体瞬时态组成; 每个 或 是零常返或正常返态组成的不可约闭集; (3)每个 或 中的状态同类.它们有相同的周期,且 设齐次马尔可夫链的矩阵一步转移概率矩阵为 试对其状态空间进行分解. 例3.4.1 设Markov链的转移矩阵为 (1) 试求状态1,2的n步首达概率并求 (2) 求Pn并考虑当 的情况. 解 (1) 同理 例3.4.1 设Markov链的转移矩阵为 (1) 试求状态1,2的n步首达概率. 例3.4.1 设Markov链的转移矩阵为 (2) 求Pn并考虑当 的情况. 取 从而 表明 定理3.4.1 若状态j是周期为d的常返态,则 推论3.4.1若状态j是常返态,则j是0常返态 极限定理 定理3.4.2 若j是瞬时态或零常返态, 则对任意i?S, 定理3.4.3 若j是正常返态且周期为d, 则对任意i及 ,有 推论 设{Xn}是不可约遍历链 ,则?i,j∈E 定义3.4.1 对于马氏链{X n，n ?0},概率分布 称为是平稳的,若 平稳分布与极限分布 定理 3.4.4 不可约Markov链是遍历链 ?对任意i, j?S，存在仅依赖于j 的常数?j，使得 ?j称为Markov链的极限分布. 且有 例3.3.2 设有6个车站,车站中间的公路连接情况如图.汽车每天可以从一个站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动.设每天凌晨汽车开往临近的任一车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定.求出这个比例以便正确地设置各站的服务规模. 1 2 5 3 6 4 P100 P100=P^100 P100 = 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 0.1250 0.1875 0.1250 0.1875 0.1250 0.2500 设Markov链{Xn}的状态空间S是由单一相通的常返类组成. 令f 是状态空间S上的实值函数, 表示过程第r次到达状态j的时间. 记 命题1 无论{Xn}的初始分布如何,随机变量{Z1, Z2,….}是独立同分布的. 命题2 设{Xn}是不可约正常返的Markov链, 无论初始分布如何,如果对平稳分布π,Eπ[|f(X1)]?, 则 在一计算系统中，每一循环具有误差的概率取决于先前一个循环是否有误差. 以0表示误差状态，以1表示无误差状态. 设状态的一步转移概率矩阵为 试说明相应齐次马尔可夫链是遍历的，并求其极限分布。 解 …… 直线上随机游动的例子是一类非常重要的概率模型，赋予它一定的实际背景，就可以来描述多种实际问题。如描述股价变动的二杈树模型. TH3.1.1说明,初始分布与一步转移概率可以决定所有时刻的一维分布. 我们把任何两个相通的状态归为一类,易见同在一类的状态是相通的,并且任何一个状态不能同时属于两个不同的