面向视频的人脸动态表情识别算法研究.pdfVIP

摘要

面向视频的人脸动态表情识别算法研究

传统动态表情识别的方法主要是手工特征或者浅层学习，这样需要耗费巨大

的人力和资源。随着各种表情识别比赛的举办，越来越多的学者投身于表情识别

的研究当中，提出了更先进的算法；有些实验室建立了实验数据库，使得面部表

情数据积累日益丰富，也为深度学习系统在动态表情识别领域的应用奠定了深厚

的数据基础。相比于静态图像下的表情识别，基于视频中图像序列的动态表情识

别更能捕捉到完整而丰富的表情信息，能够更精准地体现面部表情变化的全过程。

近期的研究显示，用卷积神经网络等深度学习的方法处理此类问题，但是并未取

得很高的准确率，究其原因是忽略了表情序列在时间上的连贯性和表情之间的关

联性。

基于此目的，本文提出了一种融合了注意力机制的时空网络，用于处理面向

视频的人脸动态表情，完成的工作如下：

一、本文基于深度卷积网络，提出了叠加输入通道和扩展输入深度的两种优

化变体，采用光流法将表情图像处理为光流图和光学应变图以精确捕捉面部运动

的变化，将二者协同原表情图片作为空间网络的输入。经过实验证明空间通道叠

加的时间网络泛化能力出众，在不同数据库的泛化实验中均取得高于平均水准的

准确率。

二、本文提出滑动循环网络来提取视频帧序列的时间特征，使用滑动窗口作

为时间网络的输入，将空间网络提取出的空间表情特征序列聚合到窗口中，通过

设置窗口位移，使前后时序内的窗口之间互相重叠，从而能够得到前后表情之间

的关联性。

三、将注意力机制加入到长短时记忆网络中，对每一个时间窗口分配权重，

通过在注意力机制中增加奖惩项进行注意力的增强，保证训练后的网络对时序上

的“强烈”表情帧进行高权重分配和优先关注，从而增加了表情识别的准确性。

I

实验结果显示，本文提出的模型在CK+数据集上得到了94.1%的准确率，远

超平均标准；在AFEW数据集上得到了63.0%的准确率，同时将此方法应用到

微表情识别领域，使用微表情CASMEII数据集，对比当前相关实验方法57%至

62%的普遍准确率，本文提出的模型达到了64.3%的准确率。

关键词：

动态表情识别，注意力机制，时序序列，视频表情，全卷积神经网络

II

Abstract

ResearchonVideo-basedFacialDynamicExpressionRecognition

Algorithm

Traditionaldynamicexpressionrecognitionmethodsaremainlymanualfeatures

orshallowlearning,whichrequireshugemanpowerandresources.Withtheholdingof

variousfacialexpressionrecognitioncompetitions,moreandmorescholarshave

devotedthemselvestotheresearchoffacialexpressionrecognitionandproposedmore

advancedalgorithms;somelaboratorieshaveestablishedexperimentaldat