基于半监督学习的单图像去雨方法.pdf

目录

摘要I

AbstractIII

1绪论1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1基于模型驱动的去雨方法3

1.2.2基于数据驱动的去雨方法3

1.3本文研究内容7

1.4章节安排7

2相关基础知识9

2.1常用雨图表示模型9

2.2雨图数据集10

2.2.1合成雨图数据集10

2.2.2真实雨图数据集11

2.3评价指标11

2.4深度学习相关理论13

2.4.1半监督学习13

2.4.2编码-解码网络15

2.4.3生成对抗网络15

2.4.4记忆网络16

2.4.5对比学习19

2.5本章小结20

3基于潜在记忆的半监督单图像去雨方法21

3.1引言21

3.2网络结构22

3.2.1生成网络22

3.2.2判别网络24

3.2.3潜在记忆网络25

3.2.4训练过程27

3.3损失函数27

3.3.1监督损失27

3.3.2无监督损失28

3.4实验29

3.4.1参数设置29

3.4.2合成数据集上的实验29

3.4.3真实数据集上的实验32

3.4.4消融实验33

3.5小结34

4基于对比正则化的半监督单图像去雨方法36

4.1引言36

4.2网络结构36

4.2.1详细框架36

4.2.2对比正则化网络37

4.3损失函数38

4.3.1监督损失38

4.3.2无监督损失函数39

4.4实验40

4.4.1参数设置40

4.4.2合成数据集的实验40

4.4.3真实数据上的实验44

4.4.4消融实验45

4.5小结46

5总结与展望47

5.1总结47

5.2展望48

参考文献49

攻读学位期间发表的学术论著57

致谢58

摘要

在户外所拍摄的图像中经常出现复杂多样化的雨纹，严重降低了图像的视觉质量，

并且还会影响后续的户外图像处理任务（如自动驾驶、场景分割和目标跟踪等）的性

能和效果，因此，单图像去雨作为一项重要的预处理任务，具有较高的研究价值。

单图像去雨，是计算机视觉领域中的一个问题，指的是从单幅的有雨图像中恢复

无雨的干净背景图像的图像处理技术。现有的图像去雨技术可以分为基于模型驱动和

基于数据驱动（深度学习）两种方法类型。基于模型驱动的方法是通过在雨层和背景

层上设置先验知识作为图像去雨过程的约束条件，它仅在某种条件下表现出不错的适

用性，缺乏对复杂多样的雨天图像的泛化能力。近年来，基于深度学习的有监督图像

去雨方法快速发展，这类方法通过训练设计各种的卷积神经网络直接学习雨图图像与

其对应的无雨图像之间的映射关系，在合成雨图的去雨操作中取得了不错的效果。但

是由于合成雨图和真实雨图之间存在域差异，而且真实雨图对应的干净背景图像收集

存在各种困难，有监督的图像去雨方法对真实雨图的去雨效果得不到保证。据此，将

半监督学习机制用于训练图像去雨模型上成为图像去雨研究圈关注的热点之一，旨在

同时利用合成的雨图/无雨图像对