HMM(隐马尔可夫模型)及其应用.pdfVIP

HMM(隐马尔可夫模型)及其应用

摘要：隐马尔可夫模型（HiddenMarkovModel，HMM）作为一种统计分析

模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一

个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领

域。

本文先是简要介绍了HMM的由来和概念，之后重点介绍了3个隐马尔科夫

模型的核心问题。

关键词：HMM，三个核心问题

HMM的由来

1870年，俄国有机化学家VladimirV.Markovnikov第一次提出马尔可夫模

型。马尔可夫在分析俄国文学家普希金的名著《叶夫盖尼#8226;奥涅金》的文

字的过程中，提出了后来被称为马尔可夫框架的思想。而Baum及其同事则提出

了隐马尔可夫模型，这一思想后来在语音识别领域得到了异常成功的应用。同时，

隐马尔可夫模型在“统计语言学习”以及“序列符号识别”（比如DNA序列）等领

域也得到了应用。人们还把隐马尔可夫模型扩展到二维领域，用于光学字符识别。

而其中的解码算法则是由Viterbi和他的同事们发展起来的。

马尔可夫性和马尔可夫链

1.马尔可夫性

如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可

夫性，或称此过程为马尔可夫过程。马尔可夫性可用如下式子形象地表示：

X(t+1)=f(X(t))

2.马尔可夫链

时间和状态都离散的马尔可夫过程称为马尔可夫链。

记作{Xn=X(n),n=0,1,2,…}

这是在时间集T1={0,1,2,…}上对离散状态的过程相继观察的结果。

链的状态空间记作I={a1,a2,…},ai∈R.

条件概率Pij(m,m+n)=P{Xm+n=aj|Xm=aj}为马氏链在时刻m处于状态

ai条件下，在时刻m+n转移到状态aj的转移概率。

3.转移概率矩阵

如下图所示，这是一个转移概率矩阵的例子。

由于链在时刻m从任何一个状态ai出发，到另一时刻m+n，必然转移到a1，

a2…，诸状态中的某一个，所以有

当与m无关时，称马尔可夫链为齐次马尔可夫链，通常说的马尔可夫链都

是指齐次马尔可夫链。

对实例的描述：

设有N个缸，每个缸中装有很多彩球，球的颜色由一组概率分布描述。实

验进行方式如下：

—根据初始概率分布，随机选择N个缸中的一个开始实验；

—根据缸中球颜色的概率分布，随机选择一个球，记球的颜色为O1，并把

球放回缸中；

—根据描述缸的转移的概率分布，随机选择下一口缸，重复以上步骤。

最后得到一个描述球的颜色的序列O1,O2,…,称为观察值序列O。

在上述实验中，有几个要点需要注意：

#61550;不能被直接观察缸间的转移；

#61550;从缸中所选取的球的颜色和缸并不是一一对应的；

#61550;每次选取哪个缸由一组转移概率决定。

2.HMM概念

HMM的状态是不确定或不可见的，只有通过观测序列的随机过程才能表现

出来。

观察到的事件与状态并不是一一对应，而是通过一组概率分布相联系。

HMM是一个双重随机过程，两个组成部分：

—马尔可夫链：描述状态的转移，用转移概率描述。

—一般随机过程：描述状态与观察序列间的关系，用观察值概率描述。

3.HMM组成

通过上述例子可以看出，一个HMM由如下几个部分组成：

(1)模型中状态的数目N(上例中缸的数目)；

(2)从每个状态可能输出的不同符号的数目M(上例中球的不同颜色的数

目)；

(3)状态转移概率矩阵A={aij}(aij为实验员从一个缸(状态si)转向另一个缸

(sj)取球的概率)；

(4)从状态sj观察到符号vk的概率分布矩阵B={bj(k)}(bj(k)为实验员从第j

个缸中取出第k种颜色的球的概率)；

(5)初始状态概率分布π={πi}。

4.HMM的基本要素

用模型五元组＝(N,M,π