基于深度神经网络的语音情感识别模型研究.pdf

重庆大学硕士学位论文 中文摘要 摘 要 语音情感识别是音频领域的热点研究内容，尤其是在智能课堂、智能驾驶和 智能医疗等人工智能交互领域中有广泛应用。语音情感识别旨在通过机器感知判 断，使机器能够捕捉人类声音中所传达的情感，进而灵活调整交互方案和实时决 策，达到更高程度的人机交互。 本文对语音情感识别的谱图表示和深度学习的相关方法进行了研究，其中语 音情感特征提取的充分性和情感识别的准确性是本文研究的重点。针对语音情感 特征提取过程繁琐且特征提取不充分的问题，本文采用多态频谱图与深度学习相 结合的方式进行端对端的学习，提高语音情感特征提取的充分性和有效性，实现 自动的特征提取过程。针对传统语音情感误识别率高、辨别度较低等问题，本文 提出语音情感多层次识别框架，该框架首先通过哈希算法计算得到高相似情感类 别，并采用以长短时记忆网络为基础的语音情感模型，生成时序语音情感特征向 量，并增加多采样率数据增强的方法来丰富原始样本，优化语音情感多层次识别 框架，进一步提高识别的精度。 本文的主要贡献包括： ①传统语音情感识别方法需要分别对声学参数进行提取并统计，提取过程繁 琐且提取的特征不充分。针对上述问题本文提出一种语音情感识别模型SMel-CNN， 该模型将语谱图和梅尔频谱图作为初始输入，然后同时提取时频域特征，最后将 时频域特征进行融合以提高语音特征提取的有效性，并实现自动语音情感特征提 取过程。实验证明本文提出的SMel-CNN 模型的有效性。 ②针对传统语音情感识别存在的误识别率高、情感相似性高等问题。本文提 出多层次语音情感识别框架ML-EM ，该框架采用哈希算法对语音情感类别进行相 似度计算，得到高相似度情感集合，并采用本文提出的时序模型SC-LSTM 对高相 似度情感进行识别。SC-LSTM 模型使用SMel-CNN 网络进行前期谱图的特征提取 并使用LSTM 网络进行后期的时序建模。实验证明 ML-EM 框架提高了语音情感 识别整体的辨别度和精确度。 ③本文设计并实现自动语音情感识别系统，提取语音段的语谱图和梅尔频谱 图作为特征提取模型的初始层，通过SMel-CNN 模型和SC-LSTM 模型分别进行特 征提取和识别，最终得到高精度识别结果。 关键词：语音情感识别；卷积神经网络；长短时记忆神经网络；深度学习 I 重庆大学硕士学位论文 英文摘要 Abstract Speech emotion recognition is a hot topic research in the audio field, especially in the field of artificial intelligence interaction. For example, it is widely applied in the fields of smart classroom, intelligent driving and smart healthcare. Speech emotion recognition aims to enable the machine to capture the emotions conveyed in human voice through the machines perceptual judgment, and then flexibly adjust the interaction scheme and real-time decision-making to achieve a higher degree of human-computer interaction. In this thesis, the spectrogram representation of speech