视频文本跨模态检索研究综述.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（4）1

⦾热点与综述⦾

视频文本跨模态检索研究综述

陈磊，习怡萌，刘立波

宁夏大学信息工程学院，银川750021

摘要：模态代表着数据特定的存在形式，不同模态数据的快速增长，使得多模态学习受到广泛关注。跨模态检索

作为多模态学习的一个重要分支，在图文方面已得到显著发展。然而视频相对于图像而言承载了更多模态的数据，

也包含更广泛的信息，能够满足用户对信息检索全面性、灵活性的要求，近年来逐渐成为跨模态检索的研究热点。

为全面认识和理解视频文本跨模态检索及其前沿工作，对现有代表性方法进行了梳理和综述。首先归纳分析了当

前基于深度学习的单向、双向视频文本跨模态检索方法，对每类方法中的经典工作进行了详细分析并阐述了优缺

点。接着从实验的角度给出视频文本跨模态检索的基准数据集和评价指标，并在多个常用基准数据集上比较了一

些典型方法的性能。最后讨论了视频文本跨模态检索的应用前景、待解决问题及未来研究挑战。

关键词：多模态；跨模态检索；深度学习；特征提取

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2306-0382

SurveyonVideo-TextCross-ModalRetrieval

CHENLei,XIYimeng,LIULibo

SchoolofInformationEngineering,NingxiaUniversity,Yinchuan750021,China

Abstract：Modalitiesdefinethespecificformsinwhichdataexist.Theswiftexpansionofvariousmodaldata

typeshasbroughtmultimodallearningintothelimelight.Asacrucialsubsetofthisfield,cross-modalretrieval

hasachievednoteworthyadvancements,particularlyinintegratingimagesandtext.However,videos,asopposed

toimages,encapsulatearicherarrayofmodaldataandofferamoreextensivespectrumofinformation.Thisrich-

nessalignswellwiththegrowinguserdemandforcomprehensiveandadaptableinformationretrievalsolutions.

Consequently,video-textcross-modalretrievalhasemergedasaburgeoningareaofresearchinrecenttimes.Tothor-

oughlycomprehendvideo-textcross-modalretrievalanditsstate-of-the-artdevelopments,amethodicalreviewand

summarizationoftheexistingrepresentativemethodsisconducted.Initially,thefocusisonanalyzingcurrentdeep

learning-basedunidirectionalandbidirectionalvideo-textcross-modalretrievalmethods.Thisanalysisincludesan

in-depthexplorationofseminalworkswithineachcategory,highlightingtheirstrengthsandweaknes