马尔可夫过程(新).pptVIP

马尔可夫链马尔可夫性（无后效性）马尔可夫过程分类目录马尔可夫链的基本概念马尔可夫链的数学描述马尔可夫链中状态的分类状态转移概率的渐进性和平稳分布非常返状态的分析典型的马尔可夫链马尔可夫链的基本概念在这一节中我们将介绍以下内容：马尔可夫链定义马尔可夫性质齐次马尔可夫链定义马尔可夫链的基本概念定义：马尔可夫链满足以下的性质的离散时间离散取值随机过程是马尔可夫链.其中，是非连续的顺序时刻.马尔可夫链的基本概念说明：马尔可夫链具有无后效性。表述一：的“将来”只是通过“现在”与“过去”发生联系，一旦“现在”已经确定，“将来”与“过去”无关。马尔可夫链的基本概念说明：马尔可夫链具有无后效性。表述二：在已知tm时过程所处状态的条件下，时刻tm以后过程将到达状态的情况与时刻以前过程所处状态无关。这个称为过程的无后效性或马尔可夫性。马尔可夫链的基本概念马尔可夫链的性质1：马尔可夫链的有限维概率密度可以用转移概率来表示.马尔可夫链的基本概念马尔可夫链的性质1：马尔可夫链的有限维概率密度可以用转移概率来表示.马尔可夫链的基本概念马尔可夫链的性质2：马尔可夫链的有限维条件概率密度可以用转移概率来表示.马尔可夫链的基本概念定义：齐次马尔可夫链如果在马尔可夫链中满足即从i状态转移到j状态的概率与k无关，则称这类马尔可夫链为齐次马尔可夫链.目录马尔可夫链的基本概念马尔可夫链的数学描述马尔可夫链中状态的分类状态转移概率的渐进性和平稳分布非常返状态的分析典型的马尔可夫链马尔可夫链的数学描述在研究马尔可夫链的过程中，我们需要从物理问题中提取出其数学模型，然后用“数学语言”描述其特征进而用数学工具解决问题。这一小节我们就介绍一下马尔可夫链的数学描述问题。主要包括马尔可夫链的转移概率以及切普曼－柯尔莫哥洛夫方程。马尔可夫链的数学描述确定马尔可夫链的状态；马尔可夫链的一步转移概率矩阵；马尔可夫链的状态转换图；马尔可夫链的m步转移概率；切普曼－柯尔莫哥洛夫方程。马尔可夫链的数学描述马尔可夫链的一步转移概率：定义条件概率为马尔可夫链在时刻k时的一步转移概率.马尔可夫链的数学描述马尔可夫链的一步转移概率性质：马尔可夫链的一步转移概率具有非负性和归一化特性.,.ExampleAnExampleProblem--Gambler’sRuinComponentsofStochasticProcessesStationaryTransitionProbabilitiesTransitionMatrixoftheGambler’sproblem马尔可夫链的数学描述马尔可夫链的一步转移概率矩阵：设P代表一步转移概率pij所组成的矩阵，且状态空间I由状态0,1,2,…所组成，则显然P矩阵的每个元素为非负，并且每行之和均为1。P被称为一步转移概率矩阵。马尔可夫链的数学描述马尔可夫链的一步转移概率矩阵：在分析问题的过程中一步转移状态概率矩阵最好转换成与其等价的更直观的状态转换图.例如：马尔可夫链的数学描述马尔可夫链的m步转移概率：定义条件概率为马尔可夫链的m步转移概率.显然.马尔可夫链的数学描述马尔可夫链的m步转移概率(续)：说明：马尔可夫链的m步转移概率表示在时刻k时状态为i的条件下，经过m步转移到达状态j的概率.马尔可夫链的数学描述切普曼－柯尔莫哥洛夫方程切普曼-柯尔莫哥洛夫方程是用m步和r步转移概率来表示m+r步转移概率.Chapman-KolmogorovEquationsItfollowsfromthedefinitionofaMarkovchainthat,forexample,马尔可夫链的数学描述齐次切普曼－柯尔莫哥洛夫方程齐次切普曼－柯尔莫哥洛夫方程矩阵形式马尔可夫链的基本概念齐次马尔可夫链性质：齐次马尔可夫链可以用一步状态转移概率表示任意步状态转移概率.即：若已知一步状态转移概率矩阵，就可以得到任意步状态转移概率.