基于RGB摄像头的实时手势追踪及三维呈现技术研究.pdfVIP

摘要

伴随着信息技术和人工智能科学的不断演变发展，机器和设备都在向着更贴近人类行为

特征和习惯的方向推移。现代人机交互技术正在逐渐取代传统的人机交互手段，使我们的生

活更加方便舒适。手部作为人体的重要器官之一，是我们日常生活中使用最频繁的部位。与

手部运动相关的手势追踪和手部形状三维呈现技术在智能驾驶、医疗手术、教学辅助、虚拟

现实等诸多领域有着广泛的应用场景和重要的研究意义。近年来，基于深度学习的手势追踪

和手部形状三维呈现方法层出不穷。但由于RGB图像缺乏深度信息、手部运动遮挡严重以及

手部自相似性等问题，导致手势追踪与手部形状三维呈现效果还不够理想。基于以上背景，

本文对手势追踪与手部形状三维呈现技术进行了研究分析，主要研究内容和创新工作如下：

其一，针对RGB图像由于缺失深度数据以及手部运动遮挡带来的三维手势追踪准确率不

SplitAttentionNetwork,ResNeSt

高的问题，本文设计并实现了一种基于拆分注意力网络（）的

三维手势追踪方法。该方法首先使用具有多路径拆分特点的ResNeSt对图像特征进行提取，

弥补手部自遮挡带来的局部信息缺失问题；其次在三维关节点检测阶段融入多特征热度图，

缓解RGB图像由于缺失深度信息造成的特征表达不全面的问题，旨在捕捉更为精细的手部关

节点位置信息。实验结果表明，该方法可以得到较为精确的手部三维关节点坐标。由于手部

三维关节点坐标不能直观体现手部三维姿态，本文结合具备非刚性形变能力的关节手模型

handModelwithArticulatedandNonrigiddefOrmations,MANO

（）进行三维手部姿态的还原。

在三维关节点坐标的基础上使用数学的方式对手部参数进行求解，具体为使用粒子群优化算

法和逆向运动学方法分别求解MANO模型所需的姿势参数和形状参数。相较于网络预测的方

法，该方法优化了算法结构并且提高了算法的鲁棒性。最终基于此方法设计了一个实时手势

追踪系统以验证该方法的可实现性以及实时性。

其二，针对双手交互运动由于手部自相似性以及多自由度导致的手部三维形状呈现变形

HighResolutionNetwork,HRNet

问题，本文提出了一种基于高分辨网络（）的双手形状三维

呈现方法。该方法为了充分利用各个尺度的特征信息，将不同分辨率的特征进行并行卷积和

交叉融合，通过不断地进行信息交换来提升特征的表达能力。首先使用高分辨率特征结合双

手的注意力图特征，预测双手的初始MANO参数；其次通过两阶段级联的方式，使用多分辨

率特征对双手初始MANO参数分别进行更新细化。最终实现了高精度的双手形状三维呈现并

且设计了一个实时双手形状三维呈现系统来验证该方法的有效性、可实现性以及实时性。

:

关键词手势追踪，三维呈现，深度学习，拆分注意力网络，关节手模型

Abstract

Alongwiththecontinuousevolutionofinformationtechnologyandartificialintelligence

science,machinesanddevicesaredevelopinginthedirectionofclosertohumanbehavioral

characteristicsandhabits.Modernhumancomputerinteractiontechnologyisgraduallyreplacing

traditionalhumancomputerinteractionmeans,makingourlifemoreconvenientandcomfortabl