马尔可夫链的概念及转移概率[精选].docx

第四章4.1 马尔可夫链的的概念及转移概率一、知识回顾二、马尔可夫链的的定义三、转移概率四、马尔可夫链的一些简单例子五、总结一、知识回顾1. 条件概率定义：设A，B为两个事件，且，称为事件A发生条件下B事件发生的条件概率。将条件概率公式移项即得到所谓的乘法公式：2.全概率公式设试验E的样本空间为S，A为E的事件，若为S的一个完备事件组，既满足条件：1)两两互不相容，即2).，且有，则此式称为全概率公式。3.矩阵乘法矩阵乘法的定义，如果那么矩阵C叫做矩阵A和B的乘积，记作4.马尔可夫过程的分类马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：时间、状态都是离散的马尔科夫过程，称为马尔可夫链；时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；时间、状态都连续的马尔科夫过程。二、马尔科夫链的定义定义4.1设有随机过程，若对于任意的整数和任意的，条件概率都满足 (4.1.1) 则称为马尔科夫链，简称马氏链。式(4.1.1)即为马氏链，他表明在状态已知的条件下，的条件概率与无关，而仅与所处的状态有关。式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知===可见，马尔科夫链的统计特性完全由条件概率所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。现举一例说明上述概念：例4.1.1 箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。现引进随机变量序列为,每次取样试验的所有可能结果只有两个，即白球或黑球。若以数代表白球，以数代表黑球则有由上所述的抽球规则可知，任意第n次抽到黑球或白球的概率只与第n-1次抽得球的结果有关，而与抽的球的结果无关，由此可知上述随机变量序列,为马氏链。三、转移概率定义4.2称条件概率为马尔科夫链在时刻N的一步转移概率，其中，简称为转移概率。条件概率：随机游动的质点在时刻n处于状态的条件下，下一步转移到状态的你改率。一般地，转移概率不仅与状态i，j有关，而且与时刻n有关。当不依赖与时刻n时，表示马尔科夫链具有平稳转移概率。定义4.3若对任意的，马尔科夫链的转移概率与n无关则称马尔科夫链是齐次的，并记为。下面我们只讨论齐次马尔科夫链通常将“齐次”两个字省略。设P表示一步转移概率所组成的矩阵，且状态空间，则称为系统状态的一步转移概率矩阵。它具有性质：(1) ；(2) .(2)式中对j求和是对状态空间的所有可能状态进行的，此性质说明一步转移概率矩阵中任一行元素之和为1.通常称满足上述（1）、（2）性质的矩阵为随机矩阵。定义4.4称条件概率为马尔科夫链的n步转移概率，并称为马尔科夫链的n步转移矩阵，其中，即也是随机矩阵。当n=1是，，此时一步转移矩阵. 此外我们规定定理4.1设为马尔科夫链，则对任意整数和，n步转移概率具有下列性质：(1) (2) (3) (4) 证(1)利用全概率公式及马尔科夫性，有===(2)在(1)中令l=1,k=得这是一个递推公式，故可递推得到(3)在(1)中令l=1,利用矩阵乘法可证。(4)由(3)，利用归纳法可证。定理4.1中(1)式称为切普曼——柯尔莫哥洛夫方程，简称C-K方程。它在马尔科夫链的转移概率的计算中起着重要的作用。(2)式说明n步转移概率完全由一步转移概率决定。(4)式说明齐次马尔科夫链的n步转移概率矩阵是一步转移概率矩阵的n次乘方。定义4.5设为马尔科夫链，称和为的初始概率和绝对概率，并分别成和为的初始分布和绝对分布，简记为和。称概率向量为n时刻的绝对概率向量，而称为初始概率定理4.2设为马尔科夫链，则对任意和，绝对概率具有下列性质：（1）；（2）；（3）；（4）.证 (1) =(2) = = (3)与(4)中式是(1)与(2)中式的矩阵乘积形式，显然成立。证毕。定理4.3设为马尔科夫链，则对任意和，有证由全概率公式及马氏性质有 = =证毕马尔可夫链的的一些简单例子马尔科夫链在研究质点的随机运动、自动控制、通信技术、生物工程、经济管理等领域中有着广泛的应用。例4.1无限制随机游动设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为，这种运动称为无限制随机游动。以表示时刻n质点所处的位置，则是一个齐次马尔科夫链，试写出它的一步和k步转移概率。解显然的状态空间，其一步转移概率矩阵为设在第k不转移中向右移了x步，向左移了y步，且经过k步转移状态从i进入j，则从而由于x，y都只能取整数，所以必须是偶数。又在k步中哪x步向右，哪y