HMM在语音识别中的应用.ppt

在语音识别中的应用 报告人：林常志 语音识别技术基础与应用 模式识别系统的基本构成 语音识别系统的基本构成 语音识别的几个关键因素 常用模式匹配方法 马尔可夫链理论 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫模型 一阶离散马尔可夫链 隐马尔可夫链（HMM）理论 隐马尔可夫链—三个硬币隐马尔可夫模型 隐马尔可夫链—三个硬币隐马尔可夫模型 隐马尔可夫模型的参数 隐马尔可夫模型的三个基本问题 如何解决三个基本问题 经典HMM语音识别一般过程 经典HMM语音识别训练过程 经典HMM语音识别识别过程 HMM语音识别系统的实现 语音信号预处理与特征提取 语音信号预处理与特征提取 语音信号预处理与特征提取 语音信号预处理与特征提取 语音信号预处理与特征提取 声学模型与模式匹配 声学模型与模式匹配 声学模型与模式匹配 语言模型与语言处理 Baum-Welch Re-estimation Speech database Feature Extraction Converged? l1 l2 l7 HMM waveform feature Yes No end Select maximum Recognized word Speech Feature extraction Likelihood computation l1 Likelihood computation lV . . . P(X|l1) P(X|lV) HMM 1 HMM V 语音信号预处理与特征提取 声学模型与模式匹配 语言模型与语言处理 振动 在空气中形成压力波动 传感器的动作 时变的电压信号 特征选取： 1) 幅度(或功率) 2) 过零率 3) LPC 预测系数特征矢量 4) LPC 倒谱特征矢量（LPCC） 5) Mel 倒谱参数（MFCC） 6) 前三个共振峰F1、F2、F3 以梅尔刻度式倒频谱参数（MFCC）为例： 语音信号 预加重 分帧 加窗 快速傅立叶变换 三角带通滤波器 逆傅立叶变换 特征参数 计算短时能量 模型基元 声韵母：声母22个，韵母38个 音节 ：412个音节 ，1282个有调音节 词 模型的结构选取 各态历经 从左至右 参数初始化： 起始状态概率(π) 状态转移概率(A) 观测序列概率(B) 根据观测序列概率表示方法的不同： 离散的HMM（DHMM） 连续的HMM（CHMM） 半连续的HMM（SCHMM） DHMM： 离散的符号作为观测量 bj(x) bj(k) bj(x) CHMM： 观测量为连续概率密度函数 每个状态有不同的一组概率密度函数 SCHMM： 观测量为连续概率密度函数 所有状态共享一组概率密度函数 采用统计语法的语言模型 基本原理：采用大量的文本资料，统计各个词的出现概率及相互关联的条件概率，并将这些知识与声学模型结合进行结果判决，减小误识。 设W=w1,w2,…,wQ,其概率表示为： P(W)=P(w1,w2,…,wQ) =P(w1)P(w2|w1)……P(WQ|W1,W2,…WQ-1) Unigram Bigram Trigram an what thin ? has a what think ? had watch thin ? a when see ? are 组合 t(frame) 1 30 40 100 140 注：只有一个候选 * * HMM 语音识别 声学 信息论 语音语言学 信号 处理 人工 智能 模式 识别 数理 统计 听写机 查询 系统 电话 拨号 残疾人用品 消费 电子 … … 实际应用 学科基础 信息获取 预处理 特征提取 分类器设计 分类决策 训练过程 analysis Pattern training Templates or models Pattern classifier Decision logic speech Recognized speech LPCC MFCC Test pattern Reference pattern Search algorithm 语者无关/相关 词表大小 孤立词 vs. 连续语音 环境噪声等 1. Dynamic Time Warping (DTW) 2. Hidden Markov Modelling (HMM) 3.