多船舶配准融合分割跟踪一体化算法研究.pdfVIP

多船舶配准融合分割跟踪一体化算法研究

摘要

多船舶跟踪技术作为船舶感知和水上监视的关键环节，在保障水上交通安全、提

高运输效率以及实施海事管理等方面发挥着至关重要的作用。但现有的多船舶跟踪技

术主要依赖于单一的图像源，如可见光或红外图像。然而，这种方法在实际应用中存

在明显的局限性，首先是基于单一可见光或红外图像的多船舶跟踪方法难以满足全天

候、高精度的跟踪需求。另一方面，多目标跟踪中传统的基于边界框的多目标跟踪很

难有效解决这些问题，而多目标分割跟踪可以利用实例掩码有效屏蔽背景干扰，并准

确提取前景特征。再者，多目标跟踪任务的优秀算法都是基于深度学习的，这些复杂

的算法往往有着极高的计算复杂度，在算法的训练过程中消耗很大的资源。最后，海

天环境的特殊性（如远小目标多，船舶尺度差异大等）也给多船舶跟踪带来了严峻的

挑战。而这些问题可以通过“一体化解决”，现有算法已经出现了配准与融合，分割与

跟踪的一体化算法，本文研究配准融合分割跟踪一体化算法，实现全感知过程的一体

化，从而解决上述问题。本文的主要研究内容如下：

（1）针对红外与可见光图像的配准融合过程中由于船舶图像配准偏差导致的融合

图像重影模糊等问题，本文基于CGRP算法（Cross-modalityGenerationRegistration

Paradigm）提出一种特征增强的配准融合一体化算法RT_CGRP（Reconstructionand

TransformerCGRPAlgorithm）。RT_CGRP设计了一种新的编码器，将CNN和

Transformer结合起来，在特征提取中利用局部和全局信息，同时通过强制编码器-解码

器网络重建被破坏的图像，可以在降低训练消耗的同时使网络更好地学习特定任务的

图像特征。

（2）针对海面上可见光图像由于恶劣天气与远小目标等环境导致的分割跟踪效果

不理想问题，本文基于IFC算法（Inter-FrameCommunicationTransformers)提出了一种

多模态增强的多目标分割跟踪算法DRVI_IFC(DeformableRelativeVisibleandInfrared

Inter-FrameCommunicationTransformers)。DRVI_IFC通过红外图像和可见光图像的互补

性，产生健壮且信息丰富的融合图像，同时改进注意力模块和位置编码模块来改善复

杂场景下实例检测、分割和跟踪精度，提高分割和跟踪算法对复杂场景的适应能力。

（3）针对红外和可见光图像配准融合与船舶目标分割跟踪任务算法的复杂度高和

资源消耗大等问题，本文利用多任务学习的思想将上述任务联合，并基于动态任务优

先级DTP（DynamicTaskPriority）方法设计了相应的训练策略，提出了一种基于动态

任务优先级的船舶目标配准融合分割跟踪一体化算法MS_RFST（MultiShipRegistration

哈尔滨工程大学硕士学位论文

FusionSegmentationandTrackingalgorithm）。

（4）当前缺乏适用于基于红外和可见光的多船舶融合分割跟踪的数据集。为了解

决这一问题，基于新加坡海事数据集SMD（SingaporeMaritimeDataset）数据集的船舶

视频数据，对SMD海上各个场景中的视频数据进行挑选，并在Labelme软件中对视频

中的多帧图像进行标注，构建了船舶配准融合分割跟踪数据集SIVSMD（Shipinfrared

andvisibleimagefusionsegmentationandtrackingSingaporeMaritimeDataset）。提出的数

据集能够满足船舶红外和可见光图像配准融合分割跟踪算法的训练与测试需求，为相

关研究提供有力的数据支持。

关键词：船舶目标配准融合分割跟踪一体化；红外和可见光图像配准融合；分割

跟踪；Transformer；海上复杂