计算机视觉应用--ResNet的基本原理.pptx

ResNet的基本原理5.2

5.2.1ResNet的起源ResNet(residualnetwork,残差网络)是2015年ImageNet竞赛分类任务的冠军网络。ResNet可以说是继AlexNet之后近年来最具里程碑意义的网络结构,获得了2016年CVPR(computervisionandpatternrecognition,计算机视觉和模式识别)大会最佳论文奖。ResNet在ImageNet上取得了3.6%的前5错误率,而普通人进行ImageNet分类的前5错误率约为5.1%。ResNet被成功用于多个领域,除了2015年ImageNet分类任务,还一举横扫2015年ImageNet定位(优于亚军27%)、检测(优于亚军16%)、COCO检测(优于亚军11%)、分割(优于亚军12%)的冠军。残差网络的主要贡献是发现了退化现象(degradation),并针对退化现象发明了直连边/短连接(shortcutconnection),极大地消除了深度过大的神经网络训练困难问题。神经网络的“深度”首次突破了100层,最大的神经网络甚至超过了1000层。残差网络还使用batchnormalization取代dropout进行加速训练。5.2ResNet的基本原理

5.2.2CNN网络结构中感受野的概念感受野原指听觉、视觉等神经系统中一些神经元的特性,即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中,视觉皮层中神经细胞的输出依赖于视网膜上的光感受器。当光感受器受刺激兴奋时,会将神经冲动信号传导至视觉皮层。不过须指出并不是所有神经皮层中的神经元都会接受这些信号。而现代卷积神经网络中的感受野被描述为在卷积神经网络中,某一层卷积操作输出结果中一个元素所对应的输入层的区域大小,被称为感受野,如图5-2所示。通俗的解释是输出特征图上的一个单元对应输入特征图中的区域大小。5.2ResNet的基本原理小知识特征提取与匹配在计算机视觉中的许多应用中都扮演着重要角色，如物体识别、图像拼接等。

5.2ResNet的基本原理

前面已经学习了卷积通用公式,并对公式中的各个参数有了清晰的理解。接下来进一步探索感受野的计算公式,以更全面地了解卷积神经网络的工作原理。感受野计算公式如下:F(i)=(F(i+1)-1)×stride+Fsize(5-1)式中,F(i)为第i层的感受野;stride为第i层的步距;Fsize为卷积核尺寸或池化核尺寸。5.2ResNet的基本原理

如图5-2所示,第一层尺寸为9×9×1(height×width×channel)的特征图通过卷积核大小为3×3、步距为2的卷积层(Conv),得到第二层特征图的大小为4×4×1;紧接着通过池化核大小为2×2、步距为2的最大池化下采样(MaxPool)操作,得到第三层特征图的大小为2×2×1。以第三层特征图中的一个单元对应第二层特征图的感受野、对应第一层特征图的感受野为例,代入式(5-4)计算。在第三层特征图中的一个单元对应第二层特征图的感受野为一个2×2的区域,对应第一层特征图的感受野为一个5×5的区域。第三、二、一层特征图感受野的计算公式如式(5-2)、式(5-3)、式(5-4)所示。由于现代卷积神经网络拥有多层甚至超多层卷积操作,随着网络深度的加深,后层神经元在第一层输入层的感受野会随之增大。F(3)=1(5-2)F(2)=(F(i+1)-1)×stride+Fsize=(1-1)×2+2=2(5-3)F(1)=(F(i+1)-1)×stride+Fsize=(2-1)×2+3=5(5-4)5.2ResNet的基本原理

5.2ResNet的基本原理

现在很多网络采用多层小卷积核代替一层大卷积核的策略,如图5-3所示。小卷积核(如3×3)通过多层叠加可取得与大卷积核(如7×7)同等规模的感受野,此外,采用小卷积核可带来其余两个优势:第一,由于小卷积核须多层叠加,加深了网络深度,进而增大了网络容量(modelcapacity),增强了复杂度(modelcomplexity);第二,增大网络容量的同时减少了参数个数。多层小卷积核感受野及参数量的计算过程如下。5.2ResNet的基本原理

(1)两个3×3的卷积核的感受野相当于一个5×5的卷积核