基于Transformer的医学图像检测与分割研究.pdf

摘要

医学图像的检测和分割精度对于临床诊断和治疗至关重要。然而，受到目标大小

多变性、影像噪点与伪影、边界界定模糊性，以及复杂背景中各种解剖结构对比度差

异等因素的干扰，该领域的图像分析算法仍有提升空间。随着计算机技术的发展和大

数据的广泛应用，基于深度学习的医学图像处理算法已经取代了传统医学图像分析算

法，展现出其在定位病变区域、识别疾病类型方面的医学图像处理强大优势。在这一

背景下，本文旨在围绕深度学习技术，研究其在医学目标检测和医学图像分割两大关

键领域中的应用，提出三种基于Transformer和CNN相结合的医学图像处理算法。该算

法在特征提取和融合过程中不仅利用了Transformer的全局信息处理能力，还融入了

CNN的局部特征提取性能。以下是本文取得的主要研究成果：

（1）本文提出一种基于YOLOX架构的膀胱肿瘤亚型检测算法YOLOX-Swin。该

算法通过将CNN与Transformer相结合，促进多尺度特征信息融合，提升目标检测质

量，尤其是小目标检测精度。具体地，YOLOX-Swin算法以Swin-Transformer作为骨干

网络，提取膀胱肿瘤亚型的多尺度特征图，再利用PAFPN融合多尺度特征信息，并将

该信息提供给YOLOHead用于定位、识别膀胱肿瘤NMIBC和MIBC亚型。为改进原

YOLOX算法的分类和回归损失函数，YOLOX-Swin算法采用FocalLoss和cIoU损失函

数训练模型，从而缓解了数据集正负样本不均衡问题，并通过增加难训练样本权重，

提升了膀胱肿瘤亚型识别精度。

（2）针对医学图像的噪声、伪影以及边界不清晰等问题，本文基于UNet架构提

出一种双解码器医学图像分割算法DDS-UNet。具体地，在下采样过程中，通过层级式

SwinTransformer提取不同尺度目标的关键信息，生成多尺度特征图；而在上采样过程

中，基于SwinTransformer和CNN的双解码器从不同角度聚合多尺度语义信息，逐级

恢复医学图像空间信息。此外，特征融合模块利用空洞卷积分解编码器输出的深层语

义特征，并通过协同融合双解码器输出的多尺度特征，重构医学图像目标区域的空间

细节信息，进一步提升了语义分割的精确度和鲁棒性。

（3）本文提出一种二级路由注意力和空间通道注意力相结合的医学图像分割算法

BRA-UNet。该算法利用Biformer模块构建编码器提取多尺度特征图，采用CBAM模

块提升特征图空间和通道注意力，基于Biformer模块构建解码器在上采样过程中提取

并融合医学图像特征。Biformer模块的二级路由注意力机制使其在低计算复杂度情况下

也可以提取医学图像全局上下文信息。Biformer模块的DWConv在捕获token位置信息

的同时，与CBAM模块中的CNN共同提升BRA-UNet算法的局部特征提取性能。

本文基于Transfomer和CNN研究医学图像中的目标检测和语义分割问题，结合

Transformer与CNN特点，提出了三种医学图像处理算法。在膀胱癌、脊柱和脑胶质瘤

数据集上的实验结果表明，本文研究成果对提高医学图像处理性能具有一定的借鉴意

义，所提医学图像处理算法可以作为临床医学诊断和治疗的重要辅助手段，为疾病诊

治提供直观的辅助信息。

关键词：深度学习；目标检测；医学图像分割；Transformer；特征融合

Abstract

Theaccuracyofmedicalimagedetectionandsegmentationiscrucialforclinicaldiagnosis

andtreatment.However,thealgorithmsinthisfieldareconstrainedbyvariousfactors,

includingvariabilityintargetsize,imagenoiseandartifacts,blurredboundarydelineation,and

contrastdifferencesamongvariousanatomicalstructur