CH6-马尔可夫过程.pdf

第六章 马尔可夫（Markov）过程 6.1 马尔可夫链与转移概率 一、基本概念 定义 1 设{X (t) ，t ∈T}为随机过程，若对任 意正整数n及t t … t ， 1 2 n P {X (t )=i ,…, X (t )=i }0， 1 1 n-1 n-1 且条件分布 P {X (t ) ≤i X (t ) i ,X (t ) i ,,X (t ) i } n n 1 1 2 2 n−1 n−1 P {X (tn ) =≤in X (tn−1 ) in−1 } 则称 ， ∈ 为马尔可夫过程。 {X (t) t T} 6.1 马尔可夫链 • 若t , t , …, t 表示过去，t 表示现在，t 表示将 1 2 n-2 n-1 n 来，马尔可夫过程表明：在已知现在状态的条件 下，将来所处的状态与过去状态无关。 • 马尔可夫过程通常分为三类： (1) 时间、状态都是离散的，称为马尔可夫链 (2) 时间连续、状态离散的，称为连续时间马尔可 夫链 (3) 时间、状态都是连续的，称为马尔可夫过程 6.1 马尔可夫链 对时间、状态都是离散的随机过程 {Xn , ∈ ，记参数集 ，状态空间 n T} T={0, 1, 2, …} I={0, 1, 2, …} 或 S={0, 1, 2, …} 6.1 马尔可夫链 定义 ：若随机过程 ， ∈ ，对任意 ∈ 2 {Xn n T} n T 和i , i , …, i ∈ ，条件概率 0 1 n+1 I P {X (n +1) i X (0) i ,X (1) i ,,X (n) i } n+1 0 1 n P {X (n +1) i X (n) i } n+1 n 则称{Xn, n ∈T}为马尔可夫链，简称马氏链。 定义 ： 称条件概率 3 pij(n)= P {Xn+1=j|X n=i} 为马尔可夫链 ， ∈ 在时刻 的一步 {Xn n T} n 转移概率，简称转移概率，其中i,j ∈I.