基于多模态预训练模型的跨模态检索方法研究.pdf

目录

摘要I

AbstractII

第一章绪论1

1.1课题研究背景和意义1

1.1.1研究背景1

1.1.2研究意义2

1.2国内外研究现状3

1.2.1模态完备条件下的跨模态检索3

1.2.2模态缺失条件下的跨模态检索5

1.3本文的主要研究内容7

1.3.1基于多模态预训练模型的完备条件下的跨模态检索方法7

1.3.2基于典型概念驱动的模态缺失跨模态检索方法7

1.4本文的组织结构8

第二章基于多模态预训练模型的完备条件下的跨模态检索方法9

2.1概述9

2.2模型构建与求解10

2.2.1符号和问题定义10

2.2.2多模态对比学习11

2.2.3哈希对比学习12

2.2.4目标函数13

2.3实验与结果分析14

2.3.1实验数据集14

2.3.2实现细节15

2.3.3评估指标和基线15

2.3.4检索精度比较15

2.3.5消融实验23

2.3.6收敛性分析26

2.3.7参数敏感性分析26

2.3.8可视化27

2.4本章小结28

第三章基于典型概念驱动的模态缺失跨模态检索方法29

3.1概述29

3.2模型构建与求解31

3.2.1符号和问题定义31

3.2.2多模态融合Transformer32

3.2.3典型概念学习33

3.2.4模态映射网络34

3.2.5在线检索过程35

3.2.6优化目标和算法36

3.3实验与结果分析36

3.3.1实验数据集36

3.3.2实现细节38

3.3.3评估指标和基线39

3.3.4检索精度比较39

3.3.5消融实验44

3.3.6收敛性分析46

3.3.7参数敏感性分析47

3.4本章小结48

第四章总结与展望50

4.1全文总结50

4.2后续工作展望51

参考文献52

致谢57

摘要

跨模态检索使用一种模态的数据作为查询，在另一种模态中检索语义相关的数据。依

靠深度神经网络强大的语义表征能力，深度跨模态检索模型在跨模态检索任务上展现了优

越的检索性能。近几年，多模态预训练模型通过自然语言监督学习视觉表示，在多个多模

态任务中取得了显著的进展。然而，在跨模态检索方面的潜在影响尚未得到研究。另外，

绝大多数的深度跨模态检索方法仅适用于模态数据完备下的跨模态检索场景，他们对模态

数据的处理能力不足。

针对这些挑战，本文对基于多模态预训练模型的跨模态检索方法展开了研究，主要包

括两个工作：

（1）本文首次探讨了多模态预训练模型CLIP对跨模态哈希检索性能的影响，并提出

了一种简单但强大的无监督对比多模态融合哈希网络（UCMFH）作为基线。首先从C