基于多粒度特征融合的面部表情分析.pdf

中文摘要

面部表情识别及其强度分析能够为个体情感状态提供更为细致、深入的情感

信息，有助于更准确地理解和解释人类的情感和行为。当前表情识别及强度分析

1

领域面临一些挑战：（）表情识别研究主要集中于静态表情面部特征的学习，

而未能充分关注表情的动态变化过程及其渐进性。（2）忽略了时序信息对表情

分析的潜在影响。（3）表情强度分析未能有效利用表情强度等级的内在有序性

特质。针对以上挑战，本文提出了一种基于多粒度特征融合的面部表情分析方法，

旨在准确预测动态表情序列的所属类别以及强度等级。具体地，本文对面部表情

开展以下研究：

1

（）基于多粒度特征融合的动态序列表情识别

本方法以表情的动态序列作为研究对象，首先提取序列中每一帧表情图像的

面部关键点，进而计算序列中不同帧面部关键点的偏移距离（包括序列中每一帧

与第一帧面部关键点的偏移距离和相邻前后两帧面部关键点的偏移距离），将其

作为表情序列的粗粒度特征。同时以序列中单帧表情图像的面部特征作为表情序

列的细粒度特征，搭建双通道神经网络模型同步学习表情序列不同粒度特征，最

终预测出表情序列的所属类别。与目前主流面部表情识别方法在数据集CK+、

Oulu-CASIA、MMI上最优的实验结果相比，本文提出的方法在准确率上分别提

升了1.21%、3.34%、2.22%。

2

（）基于有序回归的多粒度特征融合表情强度预测

本方法以表情的动态序列作为研究对象，使用10个面部运动单元（Action

UnitAU）作为表情的细粒度研究对象，通过对AU进行热度图回归训练，得到

AU

训练好的神经网络模型可以学习包含的面部特征以及强度信息。同时，该方

法还使用序列不同帧之间的面部关键点偏移量作为表情的粗粒度特征。搭建双通

道神经网络模型学习不同粒度的特征，在模型的输出部分采用传统回归与有序回

归结合的方式，共同预测出面部图像的表情强度等级。在数据集UNBC-MCMaster

中以疼痛等级值（PSPI）作为表情强度的衡量指标，与目前主流面部表情强度预

测方法在MSE、MAE、PCC、ICC四个主要指标上均表现出显著的优势。在未

包含标注的数据集上，根据表情序列的特点，采用线性插值法与高斯函数自动生

成序列中每一帧的强度标签，在监督学习的框架下对模型进行训练，结果显示本

I

文提出的模型展现出良好的泛化性。

关键词：表情类别预测；表情强度预测；多粒度特征学习；有序回归

II

ABSTRACT

Facialexpressionrecognitionanditsintensityanalysiscanprovideindividual

emotionalstatesandmoredetailedandin-depthemotionalinformation,whichhelps

tomoreaccuratelyunderstandandexplainhumanemotionsandbehaviors.The

contemporarydomainoffacialexpressionrecognitionandintensityanalysisis

confrontedwithsomechallenges:(1)Currentresearchonfacialexpressionrecognition

mainlyfocusesonthelearningofstaticfacialfeatures,withoutfullypayingattention

tothedynamicchangeprocessandasymptoticnatureofexpressions.(2)Neglecting

thepotentialimpactoftemporalinformationonfacialexpressionanalysis.(3)The

analy