（精）马氏过程2.ppt

§4.3 齐次马氏链的状态分类 为了进一步研究齐次马氏链的极限性质，首先需要对状态进行分类。 定义1 若存在 ，使 ，则称状态 可达 ，记为 ，否则称状态 不可达 。 定义 2 若 且 ，则称状态 互通。 一、互通、首达 定理1 互通具有下列性质： （1）自返性 （2）对称性 则 （3）传递性 则 定义3 从状态 出发经过 步首次到达状态 的时刻 称为首达时刻。 定义4 从状态 出发经过 步首次到达状态的概率 定义5 从状态 出发经最终到达状态 的概率为 一般地，规定 定理2 对任意 ，有 证 定理3 证 由 知，存在 ，使 又由定理2， , 则在 中至少存在一个 0, 从 而 若 ，则存在 ，使 ，而 得证。 推论 定义6 称 为自状态 出发首次 到达 的平均时间。当时 ，称为平均返回时间。 一、常返 定义 7 若 ，则称状态 是常返状态；否则称为非常返状态。 定理4 状态 是常返状态的充分必要条件是 推论1 状态 是非常返状态的充分必要条件是 推论2 状态 是非常返状态，则 注 表示从 出发平均返回 的次数。 定义 8 设是 常返状态，若 ，则称 是正常返；否则称为零常返。 定理5 设 是常返状态，则 为零常返的充要条件是 定理6 若 ，则它们同为常返或非常返，若为常返，则同为零常返或正常返。 结合以上定理，有 （1） 常返 ， （2） 零常返 ， （3） 正常返 ， 二、状态空间分解 定义9 设C是状态空间 的一个子集，若从C内的任一状态不能到达C外的任一状态，则称C为闭集。 显然，状态空间 是一个闭集。 易证明 定理7 所有的常返状态构成一个闭集。 定理8 状态空间 必可以分解为 其中 是非常返状态集合， 为互不相交的常返闭集。 定义10 一个马氏链，如果状态空间是一个最小的闭集，则称该马氏链是不可约的。 定理9 马氏链不可约的充要条件是任何两个状态是相通的。 证 充分性显然。必要性 若存在两个状态 互不相通，取与 互通的所有状态组成集合A，对 同样处理得到集合B 若 ,设 ，则存在 ，同样存在， 故 矛盾。因此 ，这与不可约矛盾。 定理10 一个不可约马氏链或者没有非常返状态，或者没有常返状态 定理11 不可约马氏链是常返的充要条件是方程组 没有非零的有界解。（即没有平稳分布） 三、有限马尔柯夫链 结论：（1） 所有非常返状态所组成的集合不 可能是闭集。 （2） 没有零常返状态（3） 必有正常返状态 （4）状态空间可分解为 其中 是非常返状态集合， 为互不相交的常返闭集。 若马尔柯夫链状态集为有限集，则称之为有限 马氏链。 四、状态的周期性 定义11 状态 的周期定义为 如果 ，则称该马氏链为非周期的。 对于不可约马氏链，若 ，则该马氏链为非周期的。 定理12 若 ，则状态 或者有相同的周期，或者都是非周期的。