9隐马尔科夫模型.ppt

(2) 路径预测问题：已知一个HMM的aij，bjk。根据一个可见状态序列VT，求解最可能的隐藏状态序列。 例如：你朋友告诉你连续5天他的活动是：购物、清理、清理、散步、购物。你猜测这5天最可能的天气。 3.2路径预测问题 3.2路径预测问题 已知一个HMM的aij，bjk。根据一个可见状态序列VT，求解最可能的隐藏状态序列。 一个简单方法是，列出这个HMM所有可能的隐含状态序列ωT，每个隐含状态序列产生VT的概率是： 具有最大概率的隐含状态序列ωT就是要求的结果。 可以看到这个速度更慢。同样也有算法可以在很大程度上提高计算速度。 1.隐马尔可夫模型-路径预测 问题2：给定观察序列O=O1,O2, …,OT,以及模型λ,如何推测最可能的状态序列S ? t=1 t=2 t=3 t=T-1 t=T S1 S2 SN S1 S2 SN S1 S2 SN z S1 S2 SN S1 S2 SN aN1 … … … … … π a01 a02 a0N … Π：初始概率向量 S2 … 问题本质：计算产生观测序列O的最可能的一条隐藏状态序列Q O1 O2 O3 OT-1 OT … 已知观察序列 ？ 解决方法：Viterbi算法 S2 SN S1 S1 S2 viterbi算法 t=1 t=2 t=3 S1 S2 S1 S2 S1 S2 B E S4 S4 S4 S5 S5 S5 S3 S3 S3 t=4 S1 S2 S4 S5 S3 a01 a02 a03 a04 a05 a1-0 a2-0 a3-0 a4-0 a5-0 O1 O2 O3 O4 2. 隐马尔可夫状态路径预测：Viterbi算法 t=1 t=2 t=3 S1 S2 S1 S2 S1 S2 B E S4 S4 S4 S5 S5 S5 S3 S3 S3 t=4 S1 S2 S4 S5 S3 a01 a02 a03 a04 a05 a1-0 a2-0 a3-0 a4-0 a5-0 O1 O2 O3 O4 动画演示：由Viterbi算法计算产生观测序列O的最可能的一条隐藏状态序列Q Sk Sk S1 SN Ot … … S1 … … SN Sk S1 SN 0 t-1时刻 OT t时刻 T时刻 0 Sk S1 SN … … 1时刻 O1 …… …… …… … …… …… …… 初始化阶段(t = 1) 中间递归阶段（t = 2,…,T） 结束阶段 Ot-1 问题2：给定观察序列O=O1,O2, …,OT,以及模型λ,如何推测最可能的状态序列S ? Max … … S1 SN Sk S1 S？ S？ S？ S1 … … Max 路径回溯 向量 3. 预测隐马尔可夫状态路径：Viterbi算法 表示t时刻，沿状态路径{q1, q2, …,qt},且qt=Sk时，产生已知的观察序列的前面t个子序列{o1,o2,…,ot}的最大概率值 表示t时刻，到达隐状态sk，且其dela概率*转移概率乘积最大的那个状态对应的标记序号值。 路径回溯 (3)参数学习问题：已知一个HMM的大致结构，包括各种状态数量。根据一些可见状态序列，求各种状态转移参数aij，bjk。 例如：你朋友告诉你很多连续5天他的活动。你猜测天气转换概率和在不同天气下他进行各种活动的概率。 3.3参数学习问题 1. 隐马尔可夫模型-参数训练问题 问题3：给定观察值序列O,如何调整模型参数λ=(π,A,B),使得P(O|λ)最大 ? t=1 t=2 t=3 t=T-1 t=T S1 S2 SN S1 S2 SN S1 S2 SN z S1 S2 SN S1 S2 SN aN1 … … … … … π a01 a02 a0N … Π：初始概率向量 S2 … 问题本质：参数λ=(π,A,B)的估值问题 O1 O2 O3 OT-1 OT … 已知观察序列O ？ ？ ？ 情形1：路径已知时的参数估计 (监督学习方法) 情形2：路径未知时的参数估计 (非监督学习方法) 问题3：给定观察值序列O,如何调整模型参数λ=(π,A,B),使得P(O|λ)最大 ? 2. 隐马尔可夫模型-参数训练问题 即：由最大似然估计法对HMM的参数进行估计 S2 S3 S1 S5 S2 S2 S3 S1 S5 V1 V3 V2 V2 V1 V4 V3 V4 V1 ? ? ? ? ? V1 V3 V2 V2 V1 V4 V3 V4 V1 ? ? ? ? Baum-Welch算法（EM算法特例）对HMM参数估计 转移概率 生成概率 3. 参数训练算法：Baum-Welch算法基础 (将乘积因子按定义展开) 前向算法 后向算法 (将分子中的β按其递归计算公式展开) 令其为 令其为 前后向算法关系图 4. 参数训练算法：Baum-Welch算法（单观测序列） 但在实