第四章马尔可夫过程.ppt

4.3 马尔可夫过程 4.3.1 马尔可夫链 2. 马尔可夫链的统计特性 状态概率与状态转移矩阵之间的关系 状态转移图—描述马尔可夫链的一种工具 3. 马尔可夫链的特性 （2）齐次马尔可夫链 （3）平稳链 遍历性 独立增量过程：不同时间间隔（互不重叠）的增量过程彼此独立 2. 泊松过程 3 隐马尔可夫过程(Hidden Markov) 主讲教师:罗鹏飞教授 * 马尔可夫过程是一类重要的随机过程，广泛应用在近代物理、生物（生灭过程）、公用事业、信号处理、自动控制等方面 马尔可夫过程的基本特征是无后效应性，即未来状态只与现在有关，与过去无关。 1. 定义 状态和时间参量都是离散的随机过程，在tr时刻状态已知的条件下，其后tr+1时刻所处的状态只与tr时刻的状态有关，而与以前tr-1、tr-2……时刻的状态无关，则该过程称为马尔可夫链。 一维随机游动问题。设有一质点在x轴上作随机游动。在t=0时质点属于x轴的原点，在t=1,2,3..时质点可以在轴上正向或反向移动一个单位距离。作正向移动一个单位距离的概率为p，做反向移动一个单位距离的概率为1-p。若给定时间n-1，质点偏离原点的距离为k，可表示为Xn-1=k，则质点在n时刻偏离x轴原点的距离只与n-1时刻质点所处的状态有关。时刻n质点所处的状态可以表示 举例：随机游动问题 质点正向移动一个单位质点 反向移动一个单位 状态转移概率 状态转移矩阵 每一行之和为1 状态概率(概率分布列) a1 a2 a3 a4 a5 1 1/2 1/2 1/2 1/2 1/2 1/2 1 反射壁 状态转移图和状态转移矩阵一一对应 几何解释 ts tr tn xs=ai xn=aj an ak al pik(s,r) pkj(r,n) P(s,n)=P(s,r)P(r,n) （1）：切普曼-柯尔莫哥洛夫方程 如果马尔可夫链的转移概率Pij(s,n)只取决于n-s，而与n和s本身的值无关，则称为齐次马尔可夫链，简称齐次链。 P(2)= P(1) P(1)= P 2(1) P(n)= P n(1) P(s,n)=P(n-s) 对于齐次链： P(s,n)= P(s,r) P(r,n) 如果齐次链的状态概率都相同， 即p(n)=p(1)，则称为平稳链 只要p(2)=p(1), 则必定p(n)=p(1) 因为 p(n)=PT(s,n)p(s)，所以p(2)=PT(1,2)p(1) 或者 p(2)=PT(1)p(1) p(3)=PT(2,3)p(2) p(3)=PT(1)p(2)= PT(1)p(1)=p(2)=p(1) 齐次马尔可夫链中，对于一切i与j，存在不依赖i的极限 当转移步数n足够大时，不论n步以前是哪种状态ai，n步后转移为状态aj的概率都接近于pj。 遍历的条件： 存在正整数s，使 相互独立 4.3.2 几类重要的马尔可夫过程 有许多物理现象要求在一定的时间间隔(t0,t)内统计事件出现的个数，如到某商店或售票处的顾客数，通过某交叉路口的车辆数，电话交换台的呼唤次数等，通常都可用泊松过程来描述。在这些现象中，个数变化的时刻是随机的。 这些过程可以用泊松过程来描述。 定义：设随机过程X(t),t?[t0,?)(t0?0)，其状态只取非负整数值，且满足下列三个条件： (1)P[X(t0)=0]=1 (2)X(t)为独立增量过程 (3)对任意的t1和t2(t1t2)，增量X(t2)-X(t1)服从均值为?(t1-t2)的泊松分布，即 式中 则X(t)称为泊松过程。 泊松过程的统计特性 相关函数 隐马尔可夫模型作为信号处理的一种统计模型，今天正在信号处理的各个领域得到广泛应用。 HMM是一个输出符号序列的统计模型，具有N个状态S1,S2,...,SN,它按一定的周期从一个状态转移到另一个状态，每次转移时，输出一个符号。转移到什么状态，转移时输出什么符号，分别由状态转移概率和转移时的符号输出概率来确定。因为只能观测到输出符号序列，而不能观测到状态转移序列（即模型输出符号序列时，是通过了哪些状态路径，不能知道），所以称为隐马尔可夫模型。 S1 S2 S3 p11=0.3 p22=0.4 p13=0.2 p12=0.5 p23=0.6 有三个状态：初始态S1,中间态S2,终了态S3，HMM只输出两个符号a和b。