基于深度学习的动态人脸表情识别研究.pdf

重庆大学硕士学位论文 中文摘要 摘 要 在人类社会的发展过程中，社会交际一直是比较重要的一部分，人脸表情 能够表达人内心的情感状态信息，对社会人际关系有重要意义。因此，人脸表 情识别研究具有很强的实用意义，动态人脸表情识别应用广泛，例如人机交互、 情感挖掘、疲劳驾驶检测等领域。本文研究了大量国内外关于人脸表情识别的 研究文献，发现现有的人脸表情识别主要有两类方法：传统的机器学习方法和 基于深度学习的方法。传统的机器学习方法分为四个步骤：图像预处理、人脸 对齐、人脸特征提取以及表情分类。其中，人脸特征提取最为关键。传统的机 器学习方法中图像的特征提取最为关键，本文分析了经典的ASM 、LDP 和SIFT 变换等特征提取算法，以及经典的表情分类算法SVM 等。虽然基于机器学习的 方法大部分都比较成熟，但是在处理动态表情识别问题时，由于只考虑提取图 像的空间特征而忽略图像的时间特征，因此依然存在准确率低、泛化能力差、 特征工程复杂的问题。相较而言，基于深度学习的方法在上述问题上表现不突 出，并且识别效果更好。 为了解决动态人脸表情识别领域中时间特征和空间特征提取和融合的问题， 本文提出了一种三维深度卷积残差动态时序神经网络来识别动态人脸表情。该神 经网络由 Stem 层、3 D Inception- ResNets 结构、GRU 层、Dropout 层、Island 层 和Softmax 层等构成，能捕捉人脸表情图像中的空间关系和不同人脸帧之间的时序 关系。在本文提出的动态人脸表情识别模型中采用了传统的灰度变换、几何变 换等图像预处理技术和人脸对齐算法，并且效果良好；同时为了增加重要的人脸 组件在表情识别中的贡献度，除了输入人脸表情帧数据之外，还提取人脸表情的 重要特征点信息输入到网络结构之中；网络引入了新的 Island 损失函数，这种损 失函数具有较强的区分不同特征的能力，其不仅能减少相同类别样本类内的差距， 还能够增加不同类别样本类间的差距，可以更好地忽略面部表情多变性和敏感性 等的影响，获得较高的准确度、识别效率和泛化能力。论文在3 个公开数据集 CK+、 AFEW 、MMI 上采用独立评测和综合评测的方法进行了实验，本文提出的网络在 准确度和识别效率上优于目前主流的动态表情识别方法。 关键词：面部表情识别；深度学习；island 损失函数；GRU ；CNN I 重庆大学硕士学位论文 英文摘要 Abstract In the development of human society, social communication has always been a relatively important part, and facial expressions can express the emotional state information of the human heart, which is of great significance to social interpersonal relationships. Therefore, the research on facial expression recognition has a strong practical significance, dynamic facial expression recognition has wide application, such as human-computer interaction, emotional mining, fatigue driving detection and other fields. This paper