模态信息缺失情况下的多模态情感识别方法.pdf

目录

1.1研究背景1

1.2研究目标及主要贡献2

1.3研究意义4

1.4论文章节安排5

2.1多模态情感识别的理论基础7

2.1.1多模态情感识别的概念7

2.1.2多模态情感识别的原理8

2.2多模态情感识别的技术基础9

2.2.1编解码网络9

2.2.2图卷积网络10

2.2.3变分自编码器11

2.3国内外研究现状13

2.3.1多模态情感识别研究现状13

2.3.2模态缺失情况下多模态情感识别研究现状14

3.1研究思路17

3.2算法设计19

3.2.1网络框架19

3.2.2特征编码器和预训练网络20

3.2.3Encoder-Decoder重建网络20

3.2.4门控注意力融合网络22

3.2.5联合优化23

3.2.6分类23

实验结果和分析24

3.3.1数据集24

3.3.2特征提取24

3.3.3对比模型25

3.3.4实验设置25

3.3.5评价指标26

3.3.6分类性能分析26

3.3.7消融实验28

3.3.8收敛性分析29

3.3.9预测能力分析30

3.3.10嵌入空间可视化分析30

3.4本章小结31

4.1研究思路33

4.2算法设计35

4.2.1方法框架35

4.2.2数据处理模块36

4.2.3缺失模态重建及多模态融合模块36

4.2.4单模态辅助网络40

4.2.5分类41

4.2.6损失函数41

4.3实验结果和分析42

4.3.1数据集和实验设置42

4.3.2评价指标和比较模型43

4.3.3实验结果43

4.3.4不同层数的影响45

4.3.5嵌入空间可视化分析46

4.3.6错误分析46

消融实验47

4.3.8案例分析48

4.4本章小结48

5.1研究思路49

5.2算法设计50

5.2.1网络框架50

5.2.2数据处理模块51

5.2.3Transformer变分自编码器重建网络51

5.2.4分类53

5.3实验结果及分析53

5.3.1数据集54

5.3.2实验设置54

5.3.3特征提取54

5.3.4评价指标和对比模型55

5.3.5实验结果55

5.3.6消融实验55

5.3.7嵌入空间可视化分析56

5.4本章小结56

6.1工作总结59

6.2不足及展望60

摘要

多模态情感识别是情感计算等领域的研究热点之一，其主要目标是整合多模态信息，

更好识别人类的情感状态。然而在现实应用中，多模态特征常会受到环境噪声、传感器故

障等因素影响，出现不确定的模态数据缺失情况。因此，如何有效地处理多模态情感识别

中的模态缺失问题，已成为多模态情感识别研究的重要挑战。针对模态缺失问题，研究者

展开了广泛研究，提出了一些有效解决方案。但是面向实际应用场景，仍然面临诸多挑战，

可以概括总结为三项挑战性问题，即在模态缺失情况下，如何有效地考虑