7.2正规马可夫链.ppt

第 8 章 馬可夫鏈與賽局理論 Markov Chain {Xn:n=0,1,2…} discrete state, discrete time If Xn = i which means: state of process at time n is I Markov Property P{Xn+1=j|X0=i0, X1=i1,…,Xn=i} =P{Xn+1=j|Xn=i} 7.1 馬可夫鏈 例題 2 例題 3 Example Play a game, success will receive $1 and failure will pay $1. The probability of success=p. If total of $2 initially. Play the game until you has $0 or $4. 例題 4 例題 4 Chapman-Kolmogorov Equations n-step transition matrix 例題 5 分布向量 例題 6 例題 6 例題 6 例題 6 7.2 正規馬可夫鏈 例題 1 正規馬可夫鏈 例題 2 例題 3 例題 3 例題 4 例題 4 例題 4 例題 4 7.3 吸收馬可夫鏈 吸收馬可夫鏈 Definition Def. state i is reachable from state j If there exists an n=1, Pjin 0 Def. If and then i and j communicates Def. A state i is absorbing if Pii=1 Def. A state i is recurrent if P{ever coming back to i | X0=i}=1 例題 1 例題 1 例題 1 例題 2 例題 2 例題 3 例題 3 例題 3 例題 4 例題 4 例題 4 7.4 賽局理論與嚴格判定賽局 例題 1 例題 2 例題 2 例題 3 例題 3 例題 4 例題 4 例題 5 例題 6 7.5 混合策略的賽局 混合策略 賽局的期望值 例題 1 例題 1 例題 1 例題 2 例題 3 例題 3 例題 3 例題 4 例題 4 * * 都市 郊區 0.97 0.03 0.94 0.04 * * *