多模态特征融合方法及其应用研究.pdf

山东师范大学硕士学位论文

目录

摘要I

AbstractIII

第一章绪论1

1.1研究背景及意义1

1.2研究现状与趋势4

1.2.1多模态特征融合方法研究趋势与现状4

1.2.2虚假新闻检测方法研究现状6

1.2.3嗅觉主题约束的图文匹配方法研究现状7

1.3本文的主要研究内容9

1.4论文的组织架构10

第二章相关理论13

2.1多模态特征提取13

2.1.1文本特征提取模型13

2.1.2图像特征提取模型18

2.2基于注意力机制的多模态特征融合方法22

2.2.1通道注意力机制22

2.2.2堆叠交叉注意力机制23

2.3目标检测方法25

2.3.1FasterR-CNN25

2.3.2YOLOv526

2.4本章小结27

第三章基于多种融合方法集成的多模态虚假新闻检测方法29

3.1方法动机与贡献29

3.2方法整体框架30

3.3多模态特征提取阶段32

3.3.1图像特征提取过程32

3.3.2文本特征提取过程32

山东师范大学硕士学位论文

3.4多模态特征融合阶段33

3.4.1Adaboost集成算法33

3.4.2弱分类器35

3.5损失函数37

3.6实验结果与分析38

3.6.1数据集与评价指标38

3.6.2对比实验结果与分析40

3.6.3阶段性训练实验结果分析42

3.6.4消融实验结果与分析44

3.6.5损失函数选取实验与超参实验结果与分析46

3.7本章小结48

第四章基于多任务学习的嗅觉主题约束图文匹配方法49

4.1方法动机与贡献49

4.2方法整体框架50

4.3粗粒度匹配任务训练阶段51

4.3.1先验知识特征提取52

4.3.2基于SENet通道注意力机制的多模态特征融合53

4.3.3损失函数53

4.4细粒度匹配任务训练阶段54

4.4.1目标检测与结构特征提取54

4.4.2基于堆叠注意力机制的多模态特征融合55

4.4.3损失函数56

4.5嗅觉近义词表57

4.6实验结果与分析58

4.6.1数据集58

4.6.2对比实验结果与分析59

4.6.3消融实验结果与分析60

4.6.4嗅觉近义词表影响分析62

山东师范大学硕士学位论文

4.7本章小结62

第五章总结与展望65

5.1全文总结65

5.2工作展望66

参考文献69

致谢81

攻读硕士学位期间科研成果情况83

山东师范大学硕士学位论文

山东师范大学硕士学位论文

摘要

人