计算机视觉应用--注意力机制.pptx

注意力机制9.2

注意力机制(attentionmechanism)源于对人类视觉的研究。人类视觉系统会自然且迅速地在复杂场景中找到显著区域,采取更加仔细地识别方式,获取更多有效细节信息,通过选择性感知机制减少数据量,抑制其他不重要信息,同时将有限神经计算资源分配给场景中的关键部分。当人们观看一张图片时,并非一眼就能完全理解其中的所有细节,而是将注意力集中在图片的关键要素上。如图9-6所示,人们会首先关注到视野中的显著目标,如“锦江饭店”“喜运来大酒家”、电话号码和交通标志。此外,不同人可能会根据各自的兴趣和任务选择不同的焦点。例如,某人可能首先注意到“锦江饭店”,而另一个人可能首先注意到“喜运来大酒家”,还有人可能会先看电话号码。这就是人们的注意力初始状态,每个人的焦点可能各不相同,但随后会根据具体任务来调整注意力的分配。如果某个人的任务是寻找“锦江饭店”,那么他会更加关注与此目标相关的元素,同时减少对不相关元素的注意,直到最终找到所需的目标。9.2注意力机制

9.2注意力机制

受该观点启发,注意力机制应运而生,其核心思想简单来说就是从关注全局到关注重点,具体可解释为模仿人类视觉系统的选择性感知机制,对输入图像的特征权重进行动态调整,将注意力集中在图像中最重要的区域,并抑制不相关部分,从而提高计算机视觉的性能和准确性,在图像分类、目标检测、语义分割等计算机视觉任务中取得巨大成功。综上,注意力机制主要包括两个方面:决定需要关注输入的哪部分;分配更多的信息处理资源给重要的部分,其过程可表示如下:Attention=f(g(x),x)(9-1)式中,g(x)表示输入特征x在重点区域产生的注意力,f(g(x),x)表示根据g(x)产生的注意力对输入特征x重点区域特征进行增强。9.2注意力机制

9.2.1通道注意力机制通道注意力机制是卷积神经网络中的一种特殊结构,通过提取图像局部信息和全局信息捕捉特定类别的特征,通道间权重值的大小代表相关度的高低,可以自适应地对不同通道的特征进行加权处理,从而增强有用的特征并抑制无用的特征。这种方式可以提高整个网络的准确性,进而提升模型在图像分类等任务上的性能。接下来以经典的结构为例深入了解通道注意力机制。9.2注意力机制小知识纹理分析可以提取图像中的纹理特征，用于图像分类和识别。

SE-Net(squeezeandexcitationnetwork)考虑了特征通道之间的相互关系,通过引入注意力机制来提高其表达能力。SE-Net的核心理念在于通过损失函数来学习特征的权重分布,从而增强有用特征的影响力,并显式地对特征通道之间的依赖关系进行建模,提高网络表达能力。通过这一学习过程,SE-Net能够自动确定每个特征通道的重要性(权重),并利用这些权重来突显对当前任务关键的特征,同时抑制不相关的特征。该网络具有复杂度低、新增参数少、计算量小等优势,在很大程度上减少了模型的错误率。其整体结构如图9-7所示。1.SE-Net9.2注意力机制

其关键结构由压缩(squeeze)和激励(excitation)两部分构成,压缩部分通过全局平均池化操作[见式(9-2),uc为特征图]将特征图H×W×C压缩到1×1×C,实现空间特征到全局特征的转换,得到的全局信息zc从某种程度上来说具有全局感受野,此操作能够使得靠近数据输入的特征层也可以具有全局感受野,这一点在很多的任务中是非常有用的。将得到的全局信息zc作为特征权重来学习C个通道的直接相关性,激励部分通过使用全连接层与激活函数[见公式(9-3),其中,δ为ReLU函数,σ表示sigmoid函数]对C个通道降维再扩展回C通道,放大特征图中最重要区域权重并忽略不相关部分,更好地拟合通道间复杂的相关性,向量sc代表每张特征图的重要性程度(权重),通过式(9-4)进行逐通道相乘,向量sc会激励原特征图uc以得到输出xc,并不断进行迭代更新,展现出良好效果。9.2注意力机制

由于SE-Net只关注通道内部信息,没有考虑相邻通道信息的重要性,ECA-Net(efficientchannelattentionnetwork)对SE-Net的激励模块进行了改进。ECA-Net证明了避免降维对通道注意力有重要意义,适当跨通道的交互可以在保持性能的同时显著地降低模型复杂性,ECA-Net在目标检测和语义分割任务中表现出良好的泛化能力。ECA-Net的核心思想是无须降维的局部跨通道交互策略(ECAblock)和自适应地选择一维卷积核大小的方法。采用一维卷积获取相邻通道信息,得到了更精确的通道注意力信息,使得高维通道具有更