[理学]随机过程-第四章.ppt

问题是“甲输光就是从状态a转移到状态0” 设ui 表示甲从i出发移到状态0的概率， 我们要求的问题的概率是ua=? 由H(1)看出 u0=P{X(n+k)=0 | X(n)=0}=1 (吸收壁) ua+b=P{X(n+k)=0 | X(n)=a+b} = 0 若 p≠q呢？ 见西北工业大学出版社“随机过程” P.62 过程是一个齐次马氏链。 因此n状态是正常返态。 试画出其状态转移图，并回答该链是否具有周期性。 解：根据一步转移概率矩阵，画出状态转移图如下： 2 3 4 1 2 3 4 四个状态可分为{1，2}，{3，4}两个子集， 2. 常返（非常返）周期状态分类特性： 分类 状态 非常返态 常返态 零常返态 正常返态 有周期 非周期——遍历态 3. 周期状态的判别： 4. 关于闭集，状态空间分解（自己看）略。 （2）极限分布是构成概率分布？ （3）遍历性意义 * 过去 现在 将来 二、马氏过程。“无后效性”的特点在数学上的定义 = f(xn；tn | xn-1；tn-1) 则称{ X(t)，t∈T }为独立随机过程。 即可证知{X(t)，t∈T }是马氏过程。 （1）T离散 E离散的马氏过程，称为马氏链 如例2 P{X(nm+k)=j | X(n1)=i1 ，X(n2)=i2，X(nm)=im } =P{X(nm+k)=j | X(nm)=im } 则称{X(n)，n=0，1，2…}是马氏链。 如：随机游动（直线问题） 叫一步转移概率。（时齐马氏链） 状态空间E = ( 0，1，2，…a ) 4．定理（切普曼——柯尔莫哥洛夫方程，简称C—K方程） 证明（略可用C-K方程证明） *