隐马尔科夫模型讲述.ppt

隐马尔科夫模型 一、HMM引入 二、HMM数学定义 三、HMM应用 四、HMM模型估计 1 2 HMM的由来 1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出马尔科夫模型 马尔科夫模型 马尔科夫链 隐马尔科夫模型 3 马尔科夫性 如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔科夫性,或称此过程为马尔科夫过程 X(t+1) = f( X(t) ) 4 马尔科夫链 时间和状态都离散的马尔科夫过程称为马尔科夫链，记作{Xn = X(n), n = 0,1,2,…} 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观察的结果 链的状态空间记做I = {a1, a2,…}, ai∈R. 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 5 转移概率矩阵 阴天 晴天 下雨 晴天 阴天 下雨 晴天 0.50 0.25 0.25 阴天 0.375 0.25 0.375 下雨 0.25 0.125 0.625 6 转移概率矩阵(续) 由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，a2…，诸状态中的某一个，所以有 当Pij(m,m+n)与m无关时，称马尔科夫链为齐次马尔科夫链，通常说的马尔科夫链都是指齐次马尔科夫链。 7 由于模型本身是看不见的，即模型的状态不为外界所见，只能根据获得的数据推导出来，所以称为隐马尔科夫模型。 一、HMM引入 8 HMM实例 Probabilistic parameters of a hidden Markov model (example)S?— 马尔科夫链状态y?— 可观测序列a?— 状态转移概率b?— 每个马尔科夫状态下的输出概率 （条件概率） 9 S1 S2 S3 10 HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现出来 观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系 HMM是一个双重随机过程，两个组成部分： 马尔可夫链：描述状态的转移，用转移概率描述。 一般随机过程：描述状态与观察序列间的关系， 用观察值概率描述。 11 Markov链 （?, A） 随机过程 （B） 状态序列 观察值序列 S1, S2, ..., ST o1, o2, ..., oT HMM的组成示意图 HMM组成 HMM-语音识别 12 13 14 采用HMM来描述语音过程的成功原因在于：  (1) 各状态驻留的时间是可变的，这样就很好地解决了语音时变问题。 (2) 模型参数是通过大量的训练数据进行统计运算而得到的，因此不仅可以用于特定人识别，而且可用于非特定人识别，这时，只要将大量不同人的多次发音用作训练数据即可。 15 假设1：有限历史假设  p(si|si-1…s1) = p(si|si-1) 假设2：齐次性假设（状态与具体时间无关） p(si+1|si) = p(sj+1|sj)，对任意i,j成立 假设3：输出独立性假设（输出仅与当前状态有关） p(y1,...,yT | s1,...,sT) = Π p(yt | st) HMM模型的假设 二、HMM定义 16 HMM的基本要素 用模型五元组 ＝（ N, M, p ，A，B）用来描述HMM，或简写为 =(p ，A，B) 参数 含义 实例 N 状态数目 缸的数目 M 每个状态可能的观察值数目 彩球颜色数目 A 与时间无关的状态转移概率矩阵 在选定某个缸的情况下，选择另一个缸的概率 B 给定状态下，观察值概率分布 每个缸中的颜色分布 p 初始状态空间的概率分布 初始时选择某口缸的概率 17 HMM的过程 18 三、隐马尔可夫模型的应用 ----三项问题的求解 模型选择 19 三、隐马尔可夫模型的应用 ----三项问题的求解 状态序列选择 S 20 三、隐马尔可夫模型的应用----三项问题的求解 训练过程 21 四、隐马尔可夫模型的计算 ----HMM的训练 在HMM中，模型的训练是指在给定初始模型参数后，用模型输出对其进行校正，来优化模型参数。 由于HMM的随机性，最初的模型不可能是最佳的。 参数