隐马尔科夫模型.ppt

隐马尔科夫模型（HMM）1精选2021版课件

TableofContents马尔科夫模型隐马尔科夫模型HMM基本问题3.1HMM评估问题3.2HMM解码问题3.3HMM学习问题HMM应用背景4.1自动文本分类4.2汉语词性标注4.3汉语自动分词4.4文本信息抽取4.5其他应用领域2精选2021版课件

1.马尔科夫模型马尔科夫(Markov)模型是由俄罗斯数学家AndreiA．Markov于20世纪初提出的一个统计模型。有限状态的离散时间Markov链是一个长度为T的随机变量序列，的取值范围是有限状态集。假定它满足以下两个条件：（1）任一时刻的随机变量只依赖于前一时刻的随机变量：（2）时间无关性（马尔科夫性）：则显然有：3精选2021版课件

以上随机过程可以称为可观测Markov模型，因为此过程的输出在每一个时间点是一个状态，并且每一个状态对应一个可观测事件。上述模型称为一阶Markov模型。如把条件（1）适当放松，任一时刻的随机变量只依赖于前两（三，…，k）个时刻的随机变量，则此模型为两（三，…，k）阶Markov模型。Markov模型4精选2021版课件

2.隐马尔科夫模型一个HMM是不确定的、随机的有限状态自动机，由不可观测的状态转移过程(一个Markov链)和可观测的观察生成过程组成。按观测值是离散还是连续的，HMM可分为离散型和连续型。我们这里主要介绍离散HMM。一阶离散HMM是一个五元组：，可以简写为，其中N是Markov链状态数;M是状态可能生成的观察值数;表示初始状态概率向量，其中A为状态转换概率分布矩阵，表示i状态向j状态转换的概率：，其中:B为观察值概率分布矩阵，表示在j状态输出观察值k的概率：，其中:隐马尔可夫模型（HMM）是一种在Markov链的基础上发展起来的统计信号模型，能够利用收集的训练样本进行自适应学习。5精选2021版课件

隐马尔科夫模型6精选2021版课件

HMM拓扑结构左右型的HMM全连通的HMM含并行结构的HMM含间隔跳转的HMM7精选2021版课件

3.HHM基本问题

HMM理论有3个基本问题：（2）解码问题给定一个HHM的模型和观测序列，如何选择对应最佳的状态序列，使它在某种状态下最优（出现的概率最大），以较好地解释观测值（1）评估问题给定一个HHM的模型和观测序列，如何高效的计算此模型产生的观测序列的概率（3）学习问题（训练问题）给定观测序列，如何调整模型参数，以使得观察序列出现的概率最大化8精选2021版课件

3.1评估问题解决HHM评估问题的典型算法有穷举有哪些信誉好的足球投注网站直接计算法、前向算法和后向算法：一、穷举有哪些信誉好的足球投注网站直接计算1、算法思想列举长度为T的所有可能的状态序列，分别求解各个状态序列与观测序列的联合概率，最后求和得到2、算法过程（1）状态序列出现的概率为：（2）对于其中一种状态序列，观测序列的概率为：依据贝叶斯公式：9精选2021版课件

（3）求和：3、算法评价由于每一时刻点所到达的状态有N种可能，所以总的不同的状态序列有种。其中每一个状态序列需要2T-1次乘法运算。所以总的运算量为次乘法运算（此外还需要次加法运算）。穷举算法的时间复杂度为，在求解的过程中存在大量的重复计算，不适用于大的模型和较长的序列。10精选2021版课件

二、前向算法1、算法思想到达某网格节点的概率可以用前一时刻N个节点的概率表示出来。前向算法通过已经保存了的子路径来计算新路径的概率。HHM网状结构11精选2021版课件

(3)终止，在时刻T所有隐状态（对应观测值）的概率求和:(2)递归，计算t+1时刻处于各隐状态（对应观测值为）的概率:2、算法过程定义到时刻t，部分观测序列为，状态的前向概率为：(1)初始化,