隐马尔可夫模型-入门篇.PDF

隐马尔可夫模型-入门篇 摘要：隐马尔可夫模型（Hidden Markov Model, HMM）是序列数据处理和统计学习的一种重 要概率模型，已被成功应用于许多工程任务中。本文首先介绍隐马尔可夫的基本概念，然后 分别叙述隐马尔科夫模型的三个基本问题及解决方法，最后讲述HMM 在词性标注中的实际 应用。 一 背景介绍 隐马尔可夫模型(Hidden Markov Model, HMM)作为一种统计分析模型，创立于 20 世纪 70 年代， 80 年代得到了传播和发展并成功应用于声学信号的建模中， 到目前为止， 它 仍然被认为是实现快速精确语音识别系统最成功的方法。作为信号处理的一个重要方向， HMM 广泛应用于图像处理，模式识别，语音人工合成和生物信号处理等领域的研究中，并 取得了诸多重要的成果。近年来，很多研究者把 HMM 应用于计算机视觉、 金融市场的波 动性分析和经济预算等新兴领域中。 HMM 是一种用参数表示的用于描述随机过程统计特性的概率模型，是一个双重随机过 程, 由两个部分组成:马尔可夫链和一般随机过程。 其中马尔可夫链用来描述状态的转移， 用转移概率描述。一般随机过程用来描述状态与观察序列间的关系，用观察值概率描述。下 面讲对HMM 展开详细介绍。 二 HMM 基本原理 2.1 一个故事 首先讲一个生动但不一定有趣的故事来说明一下隐马尔可夫过程。如果你是初次接触 HMM，请耐心把这个故事看完。 假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为 D6）， 6 个面，每个面（1，2，3，4 ，5，6 ）出现的概率是1/6。第二个骰子是个四面体（称这个 骰子为D4），每个面（1，2，3 ，4 ）出现的概率是1/4。第三个骰子有八个面（称这个骰子 为D8），每个面（1，2，3，4 ，5，6，7 ，8 ）出现的概率是1/8。 假设我们开始掷骰子，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是 1/3。 这就是初始状态概率（the initial state probabilities ）。然后我们掷骰子，得到一个数字，是1， 2，3，4 ，5，6，7，8 中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都 是 1，2，3 ，4 ，5，6，7，8 中的一个。例如我们可能得到这么一串数字（掷骰子10 次）： 1 6 3 5 2 7 3 5 2 4。这串数字叫做可见状态链。 但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。 在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8。 一般来说，HMM 中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之 间存在转换概率（transition probability ）。在我们这个例子里，D6 的下一个状态是D4，D6， D8 的概率都是1/3。D4，D8 的下一个状态是D4，D6，D8 的转换概率也都一样是1/3。这样 设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。比如，我们可以 这样定义，D6 后面不能接D4，D6 后面是D6 的概率是0.9 ，是D8 的概率是0.1 。这样就是 一个新的HMM。 同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫 做输出概率（emission probability ）。就我们的例子来说，六面骰（D6）产生1 的输出概率是 1/6。产生2，3，4 ，5 ，6 的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如， 我有一个被赌场动过手脚的六面骰子，掷出来是1 的概率更大，是1/2，掷出来是2，3，4 ， 5 ，6 的概率是1/10。 2.2 HMM 定义 从上面的例子中，我们已经对隐马尔可夫过程有了一个大致的了解，现在我们给出HMM 的形式化定义，如下： 设Q 是所有可能的状态的集合，V 是所有可能的观测的集合。 Q {q , q ,..., q }, V {v , v ,..., v } 1 2 N 1 2 M 其中，N 是所有可能的状态数，M 是可能的观测数。 I 是长度