马尔可夫链教材.ppt

第15讲：马尔可夫链和序列 马尔可夫 俄国 1856~1922 在概率论方面 发展了其老师切比雪夫的矩方法，使中心极限定理的证明成为可能。推广了大数定律和中心极限定理的应用范围。 开创了用数学分析方法研究自然过程的一般模式，这种模式后人即以他的姓氏命名为马尔可夫链。 开创了一种无后效性随机过程的研究，即马尔可夫过程。 在数理统计方面 引入了等价互不相容概念和有效性统计原理. 一、马尔可夫链 1、马尔可夫链——定义 2、马尔可夫链——转移概率 3、马尔可夫链——转移概率性质 4、齐次马尔可夫链 问题背景 条件概率 太多的条件，计算上存在问题 完全独立又不反映事物之间关联关系 1、马尔可夫链——定义 举例 家族消失问题 高尔顿、瓦特森曾研究，斯蒂芬森给出了完整解。 基因突变 知道群体的现在，群体的将来与过去无关。 邮件员模型 处理状态机一类问题 2、马尔可夫链——转移概率 3、转移概率的性质 3、转移概率性质 3、转移概率性质－k步 3、转移概率的性质－矩阵表示 4、齐次马尔可夫链 5、马尔可夫链 有限状态马尔可夫链 可数无穷状态的马尔可夫链 二、切普曼－科尔莫戈罗夫方程 1、C－K方程 2、齐次马尔可夫链－CK方程 3、CK方程的矩阵表示 4、马尔可夫链——定理 1、C－K方程 证明： 2、齐次马尔可夫链－CK方程 3、CK方程的矩阵表示 4、马尔可夫链——定理 三、马尔可夫－举例 1、贝努里试验 2、例2 3、例3 4、无限制随机游走 5、带两个反射壁 6、带两个吸收壁 7、艾伦费斯特模型 1、贝努里试验 2、马尔可夫链－例2 3、马尔可夫链－3 证明： 4、无限制随机游走 随机游走－转移概率矩阵 一步转移概率 n步转移概率 5、带有两个反射壁的随机游走 转移概率矩阵 6、带有两个吸收壁的随机游走 转移概率矩阵 7、艾伦费斯特模型 该模型可以用一个模型来说明。设一个坛中装有c个球，它们或是红色的，或者黑色的。随机地从坛子中取出一个球，并换以另一个颜色的球放回坛中。经过n次摸换，研究坛中的黑球数。 四、马尔可夫序列 1、马尔可夫序列 基本定义 2、齐次性与平稳性 3、马尔可夫序列的性质 1、基本定义 一个随机变量序列Xn，若对任意的n 2、马尔可夫序列的齐次性平稳性 3、马尔可夫序列性质 马尔可夫序列的子序列也是马尔可夫序列。 马尔可夫序列的逆也是马尔可夫序列 已知现在，过去与未来相互独立 第15讲小结 马尔可夫链的定义、特性 切普曼－柯尔莫戈罗夫方程 本次作业 P227 第1、4、5、8练习题。 谢谢大家 * * 第七章 设 为一随机序列，其状态空间 ，对任一 （ N一般包含有限或者可列无穷个非负整数 ) ，有 则称为马尔可夫链。 直观意义 引入转移概率： 表示已知在时刻 m 系统处于状态 ，或说 取值 的条件下，经 ( n-m ) 步转移到状态 的概率，也可理解为已知在时刻 m 系统处于状态 i 的条件下，在时刻 n系统处于状态 j 的条件概率。 [说明]: 若过程开始位于状态i，经过（m+r）步后转移到状态j，必须经过m步从状态i转移到中间状态k，再从中间状态k经余下的r步转移到状态j。 用一步转移概率表达多步转移概率。 马尔可夫链由初始分布和一步转移概率决定。 一个质点在直线上做随机游走，如果在某一时刻质点位于i，则下一步质点将以概率p(0p1) 向前游走一步到达i+1处，或以概率q(p+q=1)向后游走一步到达i-1处，现规定，这一质点只能“向前”或“向后”游走一步，并且经过一个单位时间它必须游走。如果以 表示n时刻质点的位置，则 是一个随机过程。并且当 时， 等在时刻n后质点所处的状态仅与 有关，而与时刻n以前的状态无关，故它是一个齐次马尔可夫链。 考虑一个质点在直线段上作随机游走，直线段的两个终端为反射壁，此随机游走所取得的状态空间为 I={ 0 , 1 , 2 , … , c } 。其中0状态和 c 状态均为反射态。一旦质点进入0状态，则下一步必以概率1向前游走一步，进入 c 状态，必以概率1向后游走一步，其余各点与上题同。 考虑一个质点在直线段上作随机游走，此随机游走所取得的状态空间为 I = { 0 , 1 , 2 , … , c } 。其中0状态和 c 状态均为吸收态。一旦质点进入 0 状态或 c 状态，则会被吸收，即质点不会再做任何的游走。其余各点与上题同。