神经网络与深度学习第12章典型卷积神经网络模型.pptx

典型卷积神经网络主讲人：王改华湖北工业大学电气学院自动化系电话mail

GoogLenet，2014年Imagenet比赛第一Szegedy等更关注通过优化网络结构从而降低网络的复杂程度提出inception模型。使用Inception模块构建的GoogLeNet的训练参数数量只有AlexNet的1/12，但在ImageNet上的图像分类准确度提高了。GoogLenet网络

GoogLenet网络GoogLeNet是以Inception结构为基础搭建起来的。利用Inception结构增加网络的宽度和深度，很好地利用了网络中的计算资源。Inception的主要思想包括：（1）采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合。（2）设定卷积步长为1之后，分别设定padding=0、1、2，卷积之后可以得到相同维度的特征，这些特征可以直接拼接在一起。（3）Inception里面也嵌入了pooling层。（4）网络越到后面，特征越抽象，感受野也更大。

使用5×5的卷积核仍然会带来巨大的计算量。为此，GoogLeNet借鉴NetworkinNetwork（NIN），采用1×1卷积核进行降维。改进后的InceptionModule如图：（1）采用了Inception模块化的结构，方便增添和修改。（2）网络采用均匀池化代替全连接层，在最后还加了一个全连接层，主要是为了方便微调。（3）网络中依然使用了Dropout。（4）为避免梯度消失，网络额外增加了2个辅助的Softmax用于向前传导梯度。这两个辅助分类器的loss通过衰减系数加入到损失函数中。在实际测试的时候，这两个额外的Softmax会被去除。

InceptionV2与V3InceptionV2用两个3×3的卷积代替5×5的大卷积，在降低参数的同时建立了更多的非线性变换，使CNN对特征的学习能力更强；并且增加BatchNormalization正则化方法，让大型卷积网络的训练速度加快很多倍，同时收敛后的分类准确率得到大幅提高。InceptionV3引入分解小卷积的思想，将一个较大的二维卷积拆成两个较小的一维卷积，比如将7×7卷积拆成1×7卷积和7×1卷积，或者将3×3卷积拆成1×3卷积和3×1卷积，如图8.4所示。这种方式节约了大量参数，加速运算并减轻了过拟合，同时增加了非线性扩展模型表达能力。

InceptionV4和XceptionInceptionV4研究了Inception模块与残差模块的结合。ResNet结构加深了网络深度，还极大地提升了训练速度，同时性能也有提升。Xception是对InceptionV3的一种改进，主要采用DepthwiseSeparableConvolution替换原来InceptionV3中的卷积操作Xception中的“极端形式”同SeparableConv的区别主要有两点：（1）3×3卷积和1×1卷积的先后顺序，原有的Inception结构是先1×1卷积，后3×3卷积。（2）两个卷积层之间是否有激活函数，原有的Inception中间是有ReLU激活的。

●ResNet——MSRA何凯明团队的ResidualNetworks，在2015年ImageNet上大放异彩，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩●DeepResidualLearningforImageRecognition也获得了CVPR2016的bestpaper●通过shortcut将这个block的输入和输出进行一个element-wise的加叠，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。Resnet网络结构

Resnet网络结构通过shortcut同等映射：F(x)与x相加就是就是逐元素相加，但是如果两者维度不同，需要给x执行一个线性映射来匹配维度。用来学习残差的网络层数应当大于1，否则退化为线性。ResNet通过残差网络，可以在网络层很深的情况下提高准确率。

ResNeXtResNeXt比传统的卷积结构多了一个short-cut支路，用于传递低层的信息；保留了ResNet的堆叠Block，将单个路径进行拆分。图8.10中左图64个卷积核（1×1，3×3，1×1）对所有的输入进行卷积计算，右图通过网络拆分，4个通道一组，提高了网络的分工和局部适应性。32个path的输出向量按照像素