第七讲马尔可夫链讲述.ppt

* * 3．遍历性与平稳分布 设齐次马氏链 的状态空间为E，若对一切 ，存在不依赖于i的极限 则称马尔可夫链具有遍历性。并称 为状态j的稳态概率。 说明：无论从那个状态i出发，当转移步数充分大时， 转移到状态j的概率接近 ，即当n足够大时， 可用 作为 的近似值。 * * 则此链是遍历性的，且 是方程组 定理 对于一有限状态的马氏链 ， 若存在一正整数m，使 的唯一解。 马氏链的遍历性 利用上述的定理，可以判断齐次马氏链的遍历性； 以及求出稳态概率 ，此时稳态概率即为平稳分布。 * * 马氏链的平稳性 物理意义：对于任意的时刻，系统处于同一状态的概率是 相同的。 定义：若齐次马氏链的概率分布不随时间n的变化而变化。即满足 * * 一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 平稳分布就是极限分布。 遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。 * * 例 设马尔可夫链的状态空间 ，一步转移概率矩阵 试对该链进行分类，并说明其遍历性。 解 根据一步转移概率矩阵可画出如图所示的状态转移图。从图中可 知，①和②都是非周期的正常返状态，③和④状态都是非常返状 态。 由于 说明 存在（i=1,2,3,4）,但与i有关，所以该链不是遍历的。 * * 马尔可夫序列 1 定义 设 表示随机过程 在 为整数时刻的取样的随机序列，记为 (简记为 或 ) 则可按以下方式定义马尔可夫序列。 若对于任意的n，有 则称 为马尔可夫序列。此概率密度函数称为转移概率密度函数。进一步可以推出 即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。 * * 2 马尔可夫序列的性质 (1) 一个马尔可夫序列的子序列仍为马尔可夫序列。 (2) 一个马尔可夫序列按其相反方向组成的逆序列仍为 马尔可夫序列，即对于任意的整数n和k,有 (3) (4) 若 ，并在给定 条件下，随机变量 与 是独立的，则有 * * (5)若对于任意 ，序列 满足 则该序列为2重马尔可夫序列。 重马尔可夫序列。 此概念可推广到 (6)如果条件概率密度 与n无关，则称该 马尔可夫序列是齐次的。 * * (8) 对于 马尔可夫序列的转移概率满足切普曼 —柯尔莫哥洛夫方程(C-K方程)，即 具有相同的概率密度，则称该马尔可夫序列 (7) 如果一个马尔可夫序列是齐次的， 并且所有的随机 变量 是平稳的。 《随机信号分析》教学组 《随机信号分析》教学组 《随机信号分析》教学组 《随机信号分析》教学组 《随机信号分析》教学组 《随机信号分析》教学组 《随机信号分析》教学组 1.6 马尔可夫（Markov）过程 马尔可夫 当已知随机过程在时刻 所处的状态的条件下，过程在时刻 所处的状态与过程在时刻 以前的状态无关，而仅与过程在 所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。 马尔可夫过程是一类重要的随机过程。在实际应用中，它是许多工程问题和物理现象的数学模型。因此广泛应用在物理学、生物学、通信、信息和信号处理、语音处理以及自动控制等领域。 * * 1 T连续，E连续——连续马尔可夫过程 2 T连续，E离散——离散马尔可夫过程 3 T离散，E连续——马尔可夫序列 4 T离散，E离散——马尔可夫链 马尔可夫过程的分类： T表示时间空间 E表示状态空间 * * 马尔可夫链 1 马尔可夫链的定义 为一随机序列，其状态空间为 ，若对于任意的 ，满足 则称 为马尔可夫链（简称马氏链）。 设 表示n-1时刻 的状态是 * * 2 马尔可夫链的转移概率及性质 表明在 时刻出现