基于多视角的动态人体自由视角合成.pdfVIP

摘要

基于多视角的人体视角合成长期以来都是计算机视觉和计算机图形学领域一个重要的研

究问题，旨在通过人体的多视角图像或视频合成出人体的任意视角图像或视频。目前，相关

技术已经被应用于增强现实/虚拟现实、体育赛事转播、游戏以及电影产业等领域。相比采用

稠密的阵列相机系统或者深度传感器进行人体视角合成或三维重建，从稀疏的多视角图像或

者视频完成此任务应用范围更广、成本更低，但也更具有挑战性。近些年来，随着深度学习

技术的快速发展以及计算设备性能的不断提升，以神经渲染技术为主导的方法推陈出新，正

在逐步弥补传统的方法存在的不足。其中，基于神经辐射场（Neuralradiancefields，NeRF）

的方法因其令人惊叹的效果引起了广泛地关注。

目前，基于NeRF的人体自由视角合成依然面对诸多挑战，其中主要包括如下问题：动态

人体的自由视角合成问题、新的人体的自由视角合成问题、人体重建问题。本文针对上述三

个问题进行研究，利用多人蒙皮线性模型（ASkinnedMulti-PersonLinearModel，SMPL）作

为人体的先验信息改进现有基于NeRF的方法，并以多视角相机采集系统制作的数据集和公

开数据集验证提出方法的可行性。具体的研究内容如下：

（1）针对动态人体的自由视角合成缺乏纹理细节问题，本文提出一种动态人体神经辐射

场模型。该模型利用SMPL的纹理图和顶点提供人体的先验外观信息。首先，利用SMPL模

型的纹理图生成可以使不同的人体姿态共享的纹理特征图；然后，在SMPL模型的顶点上放

置表征人体外观和形状的隐代码，利用三维稀疏卷积网络SparseConvNet扩散隐代码到三维

空间；最后，通过NeRF的体积渲染术合成出人体的图像。实验结果表明，该方法在训练过

以及未训练过的人体姿态相比于其他先进算法具有更好的视角合成结果。

（2）针对人体的自由视角合成泛化能力差问题，本文提出了一种以几何模型引导的可泛

化神经辐射场模型。该模型在利用SMPL模型作为先验几何模型的基础上，增加人体的稀疏

视角图像信息和深度信息作为额外输入，从而可以合成新的人体的图像，即未训练过的人体

的图像。首先，借助深度信息设计可判断遮挡的颜色融合模块以聚合多视角的图像信息，从

而获取人体的外观；然后，利用SMPL模型提供的稀疏点云和多视角一致性特征推断人体的

几何形状；最后，通过体积渲染术合成出人体的图像。实验结果表明，该方法不仅能够渲染

新的目标人体图像，而且有效地处理了稀疏视角图像输入情况人体自遮挡问题。与其他先进

方法相比，该方法具有更强的泛化能力。

（3）针对三维人体重建几何细节差的问题，本文提出了一种基于表面场和辐射场的人体

重建模型。该模型利用表面场的符号距离函数表达取代了辐射场的体密度表达。首先，利用

人体的运动将观察空间的采样点变换到标准空间；然后，利用多视角图像融合的信息计算变

换到标准空间的采样点相对人体表面的偏移量；最后，利用神经网络存储标准空间人体模型

的几何信息和颜色信息，借助体积渲染技术合成图像以及MarchingCubes算法重建出人体的

三维模型。实验结果表明，此方法相对于基于辐射场体密度的重建方法效果更好。

关键词:人体自由视角合成，人体重建，神经辐射场，SMPL模型

Abstract

Humanfreeviewsynthesisbasedonmulti-viewsinputshaslongbeenanimportantresearchissue

inthefieldofcomputervisionandcomputergraphics.Itaimstosynthesizethearbitraryviewimage

orvideoofthehumanfrommulti-viewimagesorvideos.Atpresent,ithasbeenappliedtoAR/VR,

sportseventbroadcasting,games,filmindustryandotherfields.Comparedwiththeuseofadense

arrayofcamerassystem