基于布鲁姆认知的多模态教育情感计算研究.pdf

目录

摘要I

AbstractIII

第一章绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.3存在的问题与挑战5

1.4本文的创新点和结构安排6

1.4.1本文的创新点6

1.4.2本文的机构安排8

第二章构建多模态教育情感认知数据集11

2.1引言11

2.2数据获取12

2.3标签注释15

2.4特征提取17

2.4.1视频特征提取17

2.4.2音频特征提取19

2.4.3文本特征提取21

2.4.4特征汇总处理23

2.5本章小结24

第三章基于共享和私有信息的多模态教育情感认知计算25

3.1引言25

3.2算法原理26

3.2.1算法思路26

3.2.2算法框架26

3.2.3模态转换27

3.2.4模态融合模块30

3.2.5算法总结31

3.3实验结果与分析32

3.3.1数据集32

3.3.2实验设置34

3.3.3对比算法34

3.3.4实验结果35

3.3.5消融实验37

3.3.6可视化39

3.4本章小结40

第四章基于模态对齐的教育情感认知计算41

4.1引言41

4.2模态对齐算法原理42

4.2.1算法框架42

4.2.2跨模态Transformer43

4.2.3门控单元44

4.2.4中心矩差异损失45

4.2.5算法总结与分析46

4.3实验结果与分析48

4.3.1实验设置48

4.3.2对比实验48

4.3.3消融实验51

4.3.4可视化52

4.4本章小结54

第五章总结与展望55

5.1总结55

5.2展望56

参考文献57

致谢65

攻读学位期间发表的学术成果67

摘要

多模态教育认知计算是指基于文本、音频、视觉等多个模态数据和认知科学来理解

和分析学习者的情感和认知状态，以提高学习效果和教学质量。多模态教育情感认知计

算在现实生活中具有非常广泛的应用：基于多模态教育情感认知计算分析学生的情感状

态和需求，系统可以提供更加贴心和温暖的学习环境和资源，帮助学生更好地学习和成

长。多模态教育情感认知计算通过分析学生的学习数据和行为，可以深入评估学生的学

习状态、情感变化与需求，从而为他们提供更加个性化和有效的教学支持及反馈。教育

情感认知计算能够融合多种模态的数据以提供更加全面和精准的教育评估。此外，多模

态教育情感认知计算可以帮助教育机构更好地管理教学资源和管理流程。

本文围绕多模态教育情感认知计算展开研究。首先，考虑到教育场景多模态情感分

析数据集匮乏，制约了多模态情感分析技术在教育领域的应用与发展，本文基于布鲁姆

认知理论设计创建了一个多模态教育情感认知数据集。其次，本文设计了两种多模态情

感分析算法，用以解决教育场景下多模态情感分析问题。本文的主要贡献以及创新点包

括：

(1)基于布鲁姆认知理论设计创建了一个多模态教育情感认知数据集

本文基于布鲁姆认知理论对学生的课堂问答内容进行了精心设计，通过高