基于多级注意力机制的虚拟试衣模型研究.pdf

摘要

随着消费者在线购物需求的不断增加，电商平台持续改进和优化购物体验，

虚拟试衣技术解决网络购物中的服装试穿难题。传统的虚拟试衣技术需要高昂

的设备进行3D建模，消耗大量的计算资源和时间。而基于图像的虚拟试衣技术

则可以直接利用用户提供的图像进行试衣模拟，无需过多的资源投入，更适用

于线上购物，试穿结果可以方便、快速地在电商平台上呈现和分享，用户能够

及时获得反馈和意见。但是目前深度学习技术仍然存在一些局限性：现有的图

像虚拟试衣模型在生成的试穿效果图像时缺少服装细节、目标服装不能精确的

对齐人体姿态、手臂遮挡服装时边界模糊不自然并且伴随着服装颜色失真。基

于多级注意力机制的虚拟试衣模型提供的一种新的解决方案，开展了以下工作：

（1）提出了一种基于多级注意力机制的虚拟试衣模型，围绕U-Net网络中

的跳跃连接提出结合多级注意力机制的改进。虚拟试衣技术对生成的服装掩码

要求较高，传统的U-Net网络提取到的特征包含大量冗余信息，生成的掩码比

较粗糙，从而导致手臂遮挡变形。通过在U-Net网络每个尺度的跳跃连接层上

引入混合注意力机制，即通道与空间注意力串行结构。分别在通道和空间维度

上学习重要特征的位置和强度。充分保留纹理细节，缓解边界模糊不自然情况，

从而提升模型性能。

（2）提出了一种联合损失函数，引入马尔可夫判别器损失和感知损失，用

于训练模型。利用有监督的学习策略，指导掩码、调整服装、试穿结果的生成，

缓解服装变形不精准，目标服装无法对齐人体姿态。从而提升试穿效果的真实

度，使服装与手臂交界处更加平滑。

（3）在VITON数据集上进行定量和定性的实验结果和分析，设置对模型

的注意力模块和损失函数的消融实验，与现有的虚拟试衣模型做对比试验，展

示各个模块对试穿结果的影响，验证各个模块的重要性。最后展示在现实生活

中的实际试穿效果。

关键词：虚拟试衣；多级注意力机制；联合损失；图像生成

I

Abstract

Withtheincreasingdemandofconsumersforonlineshopping,e-commerce

platformscontinuetoimproveandoptimizetheshoppingexperience.Virtualfitting

technologysolvestheproblemofclothingfittinginonlineshopping.Traditionalvirtual

fittingtechnologyrequiresexpensiveequipmentfor3Dmodeling,whichconsumesa

lotofcomputingresourcesandtime.Image-basedvirtualfittingtechnologycandirectly

usetheimagesprovidedbyuserstosimulatethefitting,whichismoresuitablefor

onlineshopping.Thefittingresultscanbeeasilyandquicklypresentedandsharedon

thee-commerceplatform,anduserscanobtainfeedbackandopinionsintime.However,

therearestillsomelimitationsinthecurrentdeeplearningtechnology:theexisting

imagevirtualtry-onmodellacksclothingdetailswhengeneratingthetry-oneffect

image,thetargetclothingcannotaccuratelyaligntheh