HMM隐马尔可夫模型解析.ppt

HMM的表述 用模型五元组λ ＝（ N， M，π，A，B）用来描述HMM，或简写为 λ =(π，A，B) 参数 含义 实例 N 状态数目 缸的数目 M 每个状态可能的观察值数目 彩球颜色数目 A 与时间无关的状态转移概率矩阵 在选定某个缸的情况下，选择另一个缸的概率 B 给定状态下，观察值概率分布 每个缸中的颜色分布 p 初始状态空间的概率分布 初始时选择某口缸的概率 * . HMM可解决的问题 评估问题：给定观察序列O=O1,O2,…OT,以及模型λ =(π，A，B), 如何计算P(O|λ)？ 算法：Forward-Backward算法 解码问题：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？ 算法：Viterbi算法 学习问题：如何调整模型参数λ =(π，A，B),对于给定观测值序列O=O1,O2,…OT，使得P(O|λ)最大？ 算法：Baum-Welch算法 * . HMM的应用(1) 词性标注 已知单词序列w1w2…wn，求词性序列c1c2…cn HMM模型： 将词性理解为状态 将单词理解为输出值 训练： 统计词性转移矩阵aij和词性到单词的输 出矩阵bik 求解： Viterbi算法 * . HMM的应用(2) 疾病分析 已知疾病序列w1w2…wn，求表征序列c1c2…cn对应状态转移过程 HMM模型： 将每种疾病理解为状态 将输入的表征现象理解为输出值 训练： 统计从一种疾病转移到另一种疾病的转移 矩阵aij和某一疾病呈现出某一症状的概率 矩阵bik 求解： Viterbi算法 * . HMM的三个基本问题 评估问题 解码问题 学习问题 * . 基本问题之一：评估问题 给定一个固定的状态序列Q=(q1，q2，q3…) 表示在qt状态下观测到Ot的概率 由此的复杂度：2T×NT,N=5, M=100, 计算量10^72 * . 基本问题之一：前向算法 定义前向变量 初始化： 递归： 终结： 复杂度：N2T * . 基本问题之一：前向后向算法 1 ... t t+1 ... a1j at1 qN . qi . qj . . q1 atN ati aNj aij * . 基本问题之一：后向算法 与前向法类似，只是递推方向不同. 定义后向变量 初始化： 递归： 终结： * . 基本问题之一：后向算法 后向算法示意图： * . 基本问题之二： Viterbi算法 目的：给定观察序列O以及模型λ,如何选择一个对应的状态序列Q ，使得Q能够最为合理的解释观察序列O？ N和T分别为状态个数和序列长度 定义： 我们所要找的，就是T时刻最大的 所代表的那个状态序列 * . 基本问题之二： Viterbi算法（续） 初始化： 递归： 终结： 求S序列： * . 我们考虑计算t时刻到达状态X的最可能的路径；这条到达状态X的路径将通过t-1时刻的状态A，B或C中的某一个。　　因此，最可能的到达状态X的路径将是下面这些路径的某一个　　　　　　　（状态序列），…，A，X　　　　　　　（状态序列），…，B，X 　　　　　　（状态序列），…，C，X我们想找到路径末端是AX,BX或CX并且拥有最大概率的路径。即：Pr (到达状态A最可能的路径) .Pr (X | A) . Pr (观察状态 | X) 因此，到达状态X的最可能路径概率是： 泛化得： * . 基本问题之三：学习问题 目的：给定观察值序列O，通过计算确定一个模型l ，使得P(O| l)最大。 算法步骤： 1. 初始模型（待训练模型） l0 , 2. 基于l0以及观察值序列O，训练新模型 l0 ； 3. 如果 log?P(X|l) - log(P(X|l0) Delta ，说明训练已经达到预期效果， 算法结束。 4. 否则，令l0 ＝ l，继续第2步工作 * . 定义： Baum-Welch算法(续) * . 参数估计： Baum-Welch算法(续2) * . HMM结构 全连接 从左至右 无跨越 有跨越 并行 * . HMM认为语音按时间顺序，从相对稳定的一段特性（状态）随机地过渡到另一段特性，每个状态又随机地输出一个观察值。 HMM认为语音t+1时刻的状态由t时刻状态的统计特性，即状态转移概率确定；这个状