基于多属性先验的三维人体重建算法的研究与实现.pdfVIP

摘要

三维人体重建技术旨在从2D的人体信息中复原出人体的三维几何，重建获得的三维人

体模型可以应用于影视制作、游戏开发、医疗服务、虚拟试衣等多种领域，因此具有非常重

要的研究价值。传统的人体重建方法使用基于结构光或相位测量的三维扫描仪来重建精细的

人体网格，但三维扫描设备通常价格昂贵，因此此类方法并不具有通用性。随着计算机视觉

与深度学习等技术的持续发展，一些先进的计算机视觉模型已经可以通过单一RGB图像来重

建完整的三维人体。然而，单视图带来了图像深度、身体形状和背面细节等方面的信息缺失，

因此单视图的三维人体重建技术面临着诸多难点。例如，输入图像中的人体姿态是多样的，

因此不可避免地会存在一些人体部位的遮挡，如果得不到合理的推理计算，在重建过程中将

会出现重建伪影或肢体残缺等问题。面对诸多技术挑战，本文针对单视图三维人体重建的参

数化方法和非参数化方法进行了深入研究，通过引入多属性的先验知识来规范三维人体重建

过程。主要研究内容包括以下三个方面：

（1）针对人体参数化模型的参数回归问题，提出了一种基于图卷积和顶点偏移的SMPL

（SkinnedMulti-PersonLinearModel）人体回归方法。该方法没有从输入图像的图像特征中直

接回归SMPL人体的模板参数，而是先使用图卷积神经网络迭代更新各网格顶点的三维坐标，

再从回归结果中提取SMPL参数。为了降低重建结果在z轴深度方向的几何偏差，提出了一

种深度回归重建损失，利用SMPL的参数空间来约束人体关节的形变，在确保人体结构完整

的前提下进一步提高人体深度姿态预测的精确性。实验结果表明，该方法展现出了具有竞争

力的结果，对于局部关节的预测更加精准，并且在一定程度上克服了三维空间的深度模糊问

题。

（2）针对单视图图像带来的信息缺失问题，提出了一种基于条件GAN（Generative

adversarialnetwork,GAN）网络的人体后视图图像合成方法。该方法基于条件GAN网络的核

心思想，使用人体轮廓作为语义标签来进行有监督转换，从输入的人体前视图图像中推理生

成相应的后视图图像。该方法的网络结构由一个由粗到细的图像生成器模型和一个多尺度判

别器模型组成，生成器模型和判别器模型的多尺度特性能够同时兼顾图像的局部特征和全局

特征，并且每个子模块只需要处理一个小尺寸的图像数据，因此计算效率更高。实验结果表

明，该方法能够有效地生成符合预期的人体后视图图像，并且多尺度的模型结构能够更好地

适应高分辨率的图像转换任务。

（3）针对单视图三维人体重建中出现的重建伪影和肢体残缺现象，提出了一种基于参数

模型和法线特征的三维人体隐式重建方法。该方法的网络结构分为SMPL参数体估计、前后

视图法线推理和隐式表面重建三个模块，首先根据输入图像分别预测其对应的SMPL人体参

数化模型和后视图图像，然后将SMPL人体模型中提取的体特征和前后视图图像中提取的法

线特征作为深度隐函数的额外参数辅助训练，使重建结果在先验约束下能够获得更加规范的

人体结构。实验结果表明，该方法能够有效处理人体姿态和形状的多样性，并且其泛化能力

和扩展性优于若干现有方法。

关键词:三维人体重建，参数化人体，图卷积网络，图像转换，深度隐函数

Abstract

3Dhumanreconstructiontechnologyaimsatrestoringthe3Dgeometryofthehumanbody

from2Dhumanbodyinformation.Thereconstructed3Dhumanbodycanbeusedinvariousfields

suchasvideoproduction,gamedevelopment,medicalservices,virtualfittings,andsoon.Therefore,

3Dhumanreconstructionhasveryimportantresearchvalue.Traditionalhumanreconstruction

methodsuse3D