多模态生理信号情感识别研究 .pdfVIP

多模态生理信号情感识别研究

随着计算机和信息技术的发展,具有识别人类情感能力的机器能

够显著提高人机交互的用户体验,为人机交互提供一个平滑自然的接

口。在此背景下,情感识别受到了学术界和工业界的广泛关注,并在医

疗护理、远程教育、智能机器人、智慧社区等应用方面得到广泛开展。

相较于表情和语音等外在生理指标,自主神经系统(ANS)活动在情感

表达上的客观性表明,生理信号能够更加客观地反应用户内心的真实

情感体验,为情感状态的分析和识别提供了一条重要的线索,基于此,

本文围绕基于生理信号的情感识别中存在的若干关键问题开展一系

列的研究,其主要研究内容如下:为了探究情感表达在生理上的反应

模式,本文设计了情感诱导的实验范式。通过观看情感诱导视频的方

式,有效地唤起了30名被试者平静、悲伤、恐惧和高兴四种常见的基

本情绪,并使用BIOPAC150多导生理信号记录仪记录了被试在四种

诱导情绪下的心电信号(Electrocardiogram,ECG)、皮肤电反应

(GalvanicSkinReaction,GSR)和光电脉搏信号

(Photoplethysmographic,PPG)。通过回看视频自评价结合情绪表现

时记录的表情和语音信息对录制的情感数据进行标注,保证了情感标

注的准确性,最后,本文对标注好的情感数据进行了预处理、特征波形

点检测和提取特征,最终形成多模态情感生理数据库。针对个体生理

反应差异对用户独立模型(User-IndependentModel)场景下情感识

别系统性能的影响,本文根据生理心理学中个体反应特异性

(IndividualResponseSpecificity,IRS)和刺激反应特异性

(StimulusResponseSpecificity,SRS)的原理,提出了基于个体生理

反应特异性分组的情感识别模型,该模型首先评估被试者在情感反应

中的个体反应特异性水平,通过使用聚类分析方法对被试者个体反应

特异性的水平进行分组并建立相应的情感分类器,对于待测被试的情

感数据,依据其个体反应特异性水平所属的分组,采用对应的情感分

类器对其进行情感识别,进一步提高用户独立模型场景下情感识别的

性能。针对情感生理数据在录制过程中噪声影响情感识别性能的问题,

本文引入了信道编码中可信传输的思想,提出了基于多标签输出编码

的情感识别方法,该方法在纠错矫正输出编码框架(Error

CorrectingOutputCodes,ECOC)下,利用典型相关分析(CCA)抽取情

感数据及其标签之间的冗余性,并建立冗余码模型,对待测数据,结合

其数据信息和冗余码信息对其情感标签进行预测。由于考虑了情感数

据与标签信息之间的冗余性,相较于传统方法,该方法建立的情感识

别系统对含有噪声的数据具有更强的鲁棒性。对于多模态的情感生理

数据,本文提出了基于多视角判别分析的情感识别方法,该方法将多

个模态的生理数据看做情感表达的多个视角,利用情感数据的标签信

息,通过最大化所有模态下情感数据的类间距离和类内距离之比,找

到多组投影,使得投影后的情感数据位于一个具有判别性的通用空间

中,用以提高多模态生理数据的情感识别精度。