基于多尺度非对称CNN和Tmer的高光谱图像分类研究.pdf

基于多尺度非对称CNN和Transformer的高光谱图像分类研究

摘要

高光谱图像是一个结合空间维度和光谱维度的立方体图像，包含了地物空间信息与

丰富的光谱信息，其相关研究得到了专业人员的高度重视。其中，高光谱图像分类是高

光谱图像研究的重要方向之一。高光谱图像的波段反射的光谱信息与地物空间信息相结

-

合，做到了地物的光谱空间特征的充分表达。然而，全波段的高光谱图像图像处理会

加重计算负担。在某些场景中，可能存在地物混叠与特征信息的接收盲区等问题，增大

了高光谱图像的分类难度。同时，“同谱异物”和“同物异谱”的现象，也制约着高光

谱图像的分类精度的提升。为应对上述高光谱图像分类任务中的难点，本文分析并结合

了卷积神经网络和Transformer各自的优点，设计了两种分类网络，大量实验验证了所

提的分类网络具有优越的分类效果。本文的主要研究内容如下：

1

（）针对高光谱图像的光谱信息冗余度较高和接收盲区等问题，本文提出了基于

单支路的多尺度非对称卷积神经网络和Transformer的多方位、层次化特征提取分类网

络。首先，本文构建了基于残差连接和通道注意力机制的多尺度卷积神经网络，学习高

-

光谱图像关键的浅层次光谱空间特征和多感受野下的深层次空间补充特征。其次，设

计基于分层次特征关注机制的新型视觉Transformer结构，实现了高光谱图像的光谱序

-

列语义特征提取和局部全局区域的分层次特征信息聚焦。同时，引入新型损失函数，

进一步优化网络训练。在五个公开的高光谱数据集上的实验，验证了该网络可以提升分

类精度。

（2）针对“同谱异物”和“同物异谱”的现象，本文提出了基于双支路的多尺度

非对称卷积神经网络和Transformer的遥感数据融合分类网络，充分学习高光谱图像和

激光雷达数据的异构特征。首先，该网络设计两条多尺度非对称深度可分离卷积支路，

分别获取多感受野下高光谱图像的光谱-空间特征信息和激光雷达数据的高程特征信息。

其次，设计新型视觉Transformer结构，挖掘高级的语义特征，并建立图像的通道特征

与空间特征之间的关系，实现对图像的全面理解。然后，利用特征融合结构交互两种模

态数据的特征信息，提取有效特征用于最终分类。在四个公开的高光谱及对应区域的激

光雷达数据集上的实验，验证了该网络成功地融合了两种模态数据的特征，减少了地物

错分现象，进一步提升了高光谱图像的分类精度。

关键词：高光谱图像分类；多尺度非对称卷积神经网络；Transformer；激光雷达数据

基于多尺度非对称CNN和Transformer的高光谱图像分类研究

Abstract

Ahyperspectralimageisacubeimagecombiningspatialdimensionandspectral

dimension,whichcontainsspatialinformationofgroundobjectsandrichspectralinformation,

anditsrelatedresearchhasbeenhighlyvaluedbyprofessionals.Amongthem,hyperspectral

imageclassificationisoneoftheimportantdirectionsofhyperspectralimageresearch.The

spectralinformationreflectedbybandsofhyperspectralimagesiscombinedwiththespatial

informationofgroundobjects,sothatthefullexpressionofthespectral-spatialcharacteristics

ofgroundobjectsisachieved.Howev