基于自注意力机制的图像超分辨率重建研究.pdf

摘要

图像超分辨率重建旨在提升低质量图像的分辨率，恢复出具有丰富纹理细节的高分辨率

图像。随着深度学习的不断发展，基于卷积神经网络的图像超分辨率重建网络为了不断提升

性能，往往增加复杂度，造成庞大的计算开销。而且卷积运算是感受野受限的局部性操作，

而建立远距离依赖关系对图像超分辨率重建十分关键，Transformer模型提出的自注意力机制

在学习图像全局性信息方面表现优异。近期，SwinIR基于SwinTransformer的窗口自注意力

机制构建图像恢复模型，以更少的参数量取得当时最为先进的水平，但固定窗口大小难以兼

顾计算成本与性能。本文将针对SwinIR存在的固定窗口局限性、训练不稳定、重建细节模糊、

计算成本较大等问题，提出三种端到端的图像超分辨率重建方法。

（1）提出一种基于多尺度窗口自注意力的图像超分辨率重建方法。首先，设计多尺度窗

口自注意力来改善固定窗口大小的局限性，按通道方向设置不同尺度的窗口分组，拼接融合

多支路窗口自注意力的并行结果，从而学习不同尺度窗口下的多样特征，灵活调整远距离依

赖建模性能与计算成本间的关系。其次，为加强模型在训练中的稳定性，将SwinTransformer

单元设置为后归一化结构，有效减少振幅。最后，提出一种后处理策略，集成测试阶段若干

个表现最优的模型权重，发挥模型在训练过程中的更大潜能。实验表明，该方法的评价指标

和重建效果均有一定提升，训练曲线更加稳定。

（2）提出一种多尺度窗口自注意力融合频率特征的图像超分辨率重建方法。基于八度卷

积设计分频特征处理和融合模块，精简低频分量，保留表示边缘细节的高频分量，兼顾高、

低频分组的组内和组间信息传递，并与多尺度窗口自注意力进行级联，将频率特征融合到远

距离特征提取中，进一步提升模型的性能和效率。同时，设计多扩张率的空洞卷积来扩大感

受野，更充分地学习输入图像的浅层信息分布。与其他先进算法对比实验表明，本方法的重

建指标取得明显提升，重建图像具有丰富且清晰的细节纹理。

（3）提出一种基于轻量化自注意力的图像超分辨率重建方法。设计一种轻量化自注意力

机制，压缩关键词矩阵和价值矩阵，抽样保留具有代表性的特征，降低了原自注意力一半的

计算量。为验证轻量化自注意力的有效性，结合前两种方法各自轻量级成分，构建图像超分

辨率重建轻量级模型。与其他先进的轻量化方法进行对比分析，不仅提升了重建指标，且相

较于基于SwinTransformer轻量方法，降低了参数量，提升了推理速度。

关键词:图像超分辨率，自注意力机制，SwinTransformer，频率特征，轻量化

Abstract

Imagesuper-resolutionreconstructionaimstoimprovetheresolutionoflow-qualityimagesand

restorehigh-resolutionimageswithrichtexturedetails.Withthecontinuousdevelopmentofdeep

learning,imagesuper-resolutionreconstructionnetworksbasedonconvolutionalneuralnetworks

oftenincreasecomplexitytocontinuouslyimproveperformance,resultinginhugecomputational

costs.Moreover,convolutionaloperationsarelocallylimitedbythereceptivefield,butestablishing

long-distancedependenciesiscrucialforimagesuper-resolutionreconstruction.Theself-attention

mechanismproposedbyTransformerperformswellinlearningglobalinformationofimages.

Rec