课堂场景下人体骨架行为识别方法及实现.pdf

摘要

人体行为识别作为计算机视觉领域的重要分支，已广泛应用于各个领域。课堂

场景下，学生行为状态是评价课堂质量的一个关键因素。传统依赖人工观察的识别

学生课堂行为方法耗时耗力，效率低下，且结果具有主观性。结合计算机视觉和深

度学习技术，可以实现课堂行为的智能与自动化识别。与易受复杂环境因素影响的

RGB数据相比，骨架数据对人体外观、光线和视角的变化不那么敏感，且能避免噪

声干扰，更适合作为课堂行为识别的数据载体。而将现有基于骨架数据的行为识别

方法直接应用于课堂场景并基于识别结果开展质量评价时，存在识别准确率、肢体

遮挡、行为量化等诸多问题。因此，本文着眼于课堂场景下人体骨架行为识别方法

与实现，从以下三个方面开展研究工作：

(1)构建自适应拓展邻接策略下的EAST-GCN人体骨架行为识别网络模型。针对

原始骨架图只依赖相邻关节关系构建问题，提出自适应拓展邻接策略，构建包含多

子集邻域、对称性联系及节点间自适应联系的骨架图。网络结构上，采用通道域注

意力机制，抑制冗余信息；采用多分支TCN网络结构，提高模型时间建模能力。经

实验验证，较传统及改进后的ST-GCN，EAST-GCN模型在数据集NTU-RGB+D和

Kinetics-Skeleton上显示出更好的性能。同时，为提高模型数据集识别准确率表现，

采用多流机构网络，加入骨长度特征、骨方向特征及骨重量特征，构建EAST-

GCN(4S)。

(2)针对课堂场景下可能对骨架行为识别产生干扰的问题，构建基于

YOLOv7+(GAIN)OpenPose+EAST-GCN-H结构的课堂人体骨架行为识别模型CIN-

EAST-GCN。针对人员数量较多问题，采用YOLOv7，以提高单个人员检测精度及

骨架数据提取效率；为解决多人情形下的自遮挡和他遮挡问题，将GAIN与

OpenPose算法融合，实现对人体骨架缺失数据的预测，获取精准且完整的二维人体

骨架关节点数据。针对课堂场景人体大部处于坐姿状态，重构骨架图为半身形态并

I

沈阳大学硕士学位论文

根据半身形态调整EAST-GCN中的改进策略。实验中，首先在通用骨架数据集上进

行预训练，后迁移预训练模型去处理自建课堂场景人体骨架行为数据集。通过实验

验证模型中各模块及整体模型的有效性。

(3)实现基于CIN-EA-ST-GCN的课堂质量评价系统。归纳典型课堂行为，定性

举手、听课、书写、起立回答为积极行为，东张西望、玩手机、睡觉为消极行为。

根据实际课堂数据，采用主成分分析与因子分析法确定各行为权重并形成课堂行为

分数计算公式，根据积极行为占比设置课堂质量评价等级。课堂质量评价系统根据

功能需求设置行为识别、人脸识别、数据采集、数据分析展示等模块。根据课堂行

为分数公式计算每位同学课堂表现分数、评级并可视化。根据课堂质量评价等级设

定给课堂质量评级，并提供课堂质量趋势变化图，以帮助教师与课堂质量管理人员

更好的管理课堂。

关键词：人体行为识别，骨架数据，课堂场景，ST-GCN，拓展邻接，课堂质量评

价

II

HumanSkeletonBehaviorRecognitionMethodand

ImplementationinClassroomScenarios

Abstract

Humanbehaviorrecognition,asanimportantbranchinthefieldofcomputervision,

hasbeenwidelyusedinvariousfields.Inclassroomscenarios,thestateofstudentbehavior

isakeyfactorinevaluatingclassroomquality.Thetraditionalmethodofidentifying

studentsclassroombehaviorsrelyingonma