面向在线课堂的学生表情识别方法的研究与应用.pdf

目录

摘要I

ABSTRACTIII

第一章绪论1

1.1研究背景与意义1

1.2国内外研究综述2

1.2.1国外研究现状2

1.2.2国内研究现状4

1.3本文研究内容6

1.4方法组织7

1.5本章小节7

第二章相关理论基础9

2.1卷积神经网络9

2.1.1ResNet9

2.1.2PyConv10

2.2CBAM注意力机制11

2.3表情识别技术12

2.4本章小结12

第三章基于金字塔卷积注意力残差网络的表情识别方法13

3.1金字塔卷积注意力残差网络总体流程13

3.1.1整体框架13

3.1.2金字塔卷积14

3.1.3ECABM模块15

3.2数据集与预处理16

3.2.1数据集16

3.2.2预处理18

3.3评估指标与参数设置18

3.3.1评价指标18

3.3.2参数设置18

3.4实验结果与分析19

3.4.1实验结果19

3.4.2消融实验22

3.4.3与其他算法对比23

3.5本章小结24

第四章基于改进的RepVGG的轻量化表情识别方法25

4.1改进的RepVGG网络总体框架25

4.1.1RepVGG26

4.1.2多尺度通道注意力模块27

4.1.3空间分组增强注意力机制28

4.1.4本文方法29

4.2数据集与预处理30

4.2.1数据集30

4.2.2预处理31

4.3参数设置31

4.4实验结果与分析31

4.4.1实验结果31

4.4.2消融实验34

4.4.3与其他算法对比34

4.5本章小结35

第五章基于表情识别技术的在线课堂系统37

5.1需求分析37

5.2系统设计38

5.2.1系统架构38

5.2.2开发与运行环境39

5.2.3数据库设计39

5.2.4表情与学习情绪分类关系分析41

5.3系统实现41

5.3.1注册登录模块41

5.3.2教师模块43

5.3.3学生模块45

5.4本章总结48

第六章总结与展望49

6.1总结49

6.2展望50

参考文献51

在学期间取得的科研成果57

致谢59

摘要

随着计算机相关技术以及互联网技术的不断发展，同时伴随着国家对在线教育

的不断推动，在线学习平台层出不穷。相比与传统的教学方式，在线课堂只要有网络，

学生就可以做到随时随地去学习，但是和线下教学相比，存在一个严重的问题，老师

无法观察到学生的学习状态，导致老师无法把握学生的学习情况，线上教学的老师要

付出更多的努力才有可能达到与线下教学同等的效果。因此，本文主要研究与应用面

向在线课堂的表情识别技术，从而达到缓解线上教学中老师无法感知学生学习状态

的问题。其中主要研究内容包括以下3个方面：

1.提出一种基于ResNet18的金字塔卷积注意力残差网络（PCARNet）。解决当

面部信息不完全时，现有的卷积神经网络在提取特征方面面临的一些挑战。该网络结

合金字塔卷积模块和改进的卷积注意力机制，能够有效的提取表情特征，实现人脸表

情高精度识别。模型采用金字塔卷提取多个尺度的面部表情特征，从而达到提取面部

的全局和局部信息的目的，并使用分组卷积减少运算量和参数量。随后，将卷积注意

力机制中的ShareMLP模块替换为卷积核大小为自适应的一维卷积以此来避免降维

对注意力产生的负面影响，并促进通道之间的信息融合，使用改进后的卷积注意力机

制在通道和空间维度上为提取的多尺度特征分配权重，增强重要面部特征的表示能

力。根据实验结果显示，对于Fer2013、RAF-DB和CK+公共数据集，该方法能够取

得较为明显的