基于自监督和知识蒸馏的跨模态草图检索.pdf

摘要

近年来，基于草图的三维检索（Sketch-Based3DShapeRetrieval，SB3DR）在计算机视觉

领域受到了广泛关注。由于草图和三维模型之间存在较大的模态差异，因此该任务十分具有

挑战性。现有的大多数方法都是通过有监督学习方法提取公共特征来解决这一问题。然而，

这些方法依赖于良好的训练数据标注质量，在实际应用场景中进行标注的代价十分昂贵，且

未针对长尾数据进行优化。为了解决这个问题，论文主要进行了以下三方面的工作：

第一，论文提出了一种基于自监督学习的三维草图检索方法（Self-SupervisedLearningfor

Sketch-Based3DShapeRetrieval，SSL）。在实例判别思想的启发下，SSL将三维模型的多个视

图作为正例对，在一个只需要显式输入正例的对比自监督学习框架中建模多个视图之间的关

系，以此来提取三维模型的特征。此外，SSL构建了一个增强的三元损失，以解决草图和三

维模型之间的跨模态差异带来的问题。在基准数据集上的实验结果表明，论文的SSL方法可

以与有监督方法在可比较的水平上实现最先进的性能。

第二，论文提出了一种基于自监督长尾优化和跨模态蒸馏的三维草图检索方法（Sketch-

Based3DShapeRetrievalviaSelf-SupervisedLong-TailOptimizationandCross-Modal

Distillation，SSLTKD）。针对长尾检索的性能瓶颈，论文提出了基于自监督长尾优化的三维特

征提取方法，并构建了跨模态蒸馏架构来完成检索，将教师网络提取到的三维特征蒸馏到草

图模态的学生网络中，以避免优质的先验知识在冗长的跨模态知识融合过程中丢失。通过实

验证明，SSLTKD能够在长尾分布数据集上获得较大的性能提升，在平衡分布的数据集上能

够超越目前最先进的方法。

第三，论文将基于知识蒸馏和长尾自监督的检索方法集成到Web浏览器内，设计并实现

了一个完整的基于草图的三维检索原型系统。该系统允许用户在前端通过自由绘制草图的方

式在线检索三维模型，或选取数据集内的草图离线检索三维模型，并依据用户身份信息和检

索数据进行记录。论文对该系统的设计理念、功能模块和架构设计进行了详细阐述，并通过

丰富的样例测试验证了本系统功能的完整性以及性能的优越性。

关键词：跨模态检索，草图，三维模型，自监督，知识蒸馏

Abstract

Inrecentyears,sketch-based3Dshaperetrieval(SB3DR)getsnoticedinthecomputervision

community.Thetaskischallengingduetothelargedomaingapbetweensketchesand3Dshapes.

Mostexistingmethodssolvetheproblembysupervisedlearningtoextractdiscriminativefeaturesin

thecommonfeaturespace.However,thesemethodsrelyonthequalityoftrainingdataannotations,

whicharecostlyinpracticalscenariosandnotoptimizedforlong-taildata.Torectifytheproblems,

thethesisworksonthreemainaspectsofwork:

First,thethesisproposesaself-supervisedlearningapproachforSB3DR(SSL).Motivatedbythe

ideaofinstancediscrimination,SSLregardsthemultipleviewsofa3Dshapeaspositivepairsand

modelstherelationofmulti-viewsinacontrastivese