第四章马尔科夫连.ppt

* 状态空间的分解 定义： 状态空间I的子集C称为闭集，如果对任意 及 都有 定义： 闭集C称为不可约的，如果C的状态互通。 定义： 马尔可夫链称为不可约的，如果其状态空间不可约。 * * 3）D由全体非常返状态组成，自Cn中的状态不能到达D中的状态。 状态空间的分解定理： 任一马尔可夫链的状态空间I，可唯一的分解成有限个或可列个互不相交的 子集D,C1,C2, …之和，使得 1） 每一Cn是常返态组成的不可约闭集； 2）Cn中的状态同类，或全是正常返，或全是零常返。 它们有相同的周期且fjk=1,j,k∈Cn。 * * 的渐进性质与平稳分布 * * * 定义 称概率分布{πj,j∈I}为马尔可夫链的平稳分布，若它满足 定理 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 。 推论1：有限状态的不可约非周期马氏链必存在平稳分布。 推论2： 若所有状态是非常返或零常返的，则不存在平稳分布。 * 例题 若马尔可夫链有三状态，其概率转移矩阵为 问此马尔可夫链是否遍历，若遍历求其平稳分布。 例：马尔科夫连的状态空间为{1,2,3,4,5,6,7}，其转移概率矩阵为 * 作业：4.1 4.6 4.12 * 根据例题我们可以得到如下结论：P(n)=Pn * 定理4.2说明绝对概率也具有类似于n步转移概率的性质 * 定理4.3说明马尔可夫链的有限维分布完全由它的初始概率和一步转移概率所决定。 因此，只要知道初始概率和一步转移概率，就可以描述马尔可夫链的统计特性。 * * 闭集的意思是自C的内部不能到达C的外部，这意味着一旦质点进入闭集C中，它将永远留在C中运动。 * 第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov方程 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 * 马尔可夫过程 将来的状态只与当前状态有关，与过去状态无关 ，即无后效性 * 由上例知，泊松过程是时间连续状态离散的马氏过程， 维纳过程是时间状态都连续的马氏过程。 * 马尔可夫链定义 定义：设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的 i0,i1, …,in+1∈I，条件概率满足 则称{Xn,n∈T}为马尔可夫链，简称马氏链 时间和状态都离散的马尔可夫过程称为马尔可夫链 * 定义 称条件概率 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。 定义 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。 * 设P表示一步转移概率所组成的矩阵，则 称为系统状态的一步转移概率矩阵，它具有如下性质： 满足上述两个性质的矩阵称为随机矩阵。 * 例：(0-1传输系统) 如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入， Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程， 状态空间I={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的。 … … n 2 1 X0 X1 X2 Xn Xn-1 * 例：一维随机游动。设一醉汉Q(或看作一随机游动的 质点)在直线上的点集I={1,2,3,4,5}作随机游动， 游动的概率规则是：如果Q现在位于点i(1i5)， 则下一时刻各以1/3的概率向左或向右移动一格， 或以1/3的概率留在原处；如果Q现在处于1(或5) 这一点上，则下一时刻就以概率1移动到2(或4)这点上， 1和5这两点称为反射壁，这种游动称为带有两个反射壁 的随机游动。 1 3 4 5 2 * 解：以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态；而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何到达i完全无关， 所以{Xn,n=0,1,2 …}是一马氏链，且是齐次的。它的一步转移概率矩阵为P1 。 如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远留在点1时，此时的转移概率矩阵为P2 。 * 例：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。 设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接