深度学习-CNN卷积神经网络.pptVIP

ConvolutionalNeuralNetworks江南大学-数媒学院-许鹏

Outlineconvolutionpoolingsparseconnectivityparametersharingequivariantrepresentation卷积层--convolution池化层--pooling全连接层—fullyconnectedOverview

CNN-Overview卷积神经网络是一种受到视觉感知机制启发的深度学习结构。1959年Hubel和Wiesel发现动物的视觉皮质细胞负责在感知域内探测光照,受其启发,1980年KunihikoFukushima提出了一种新型认知机并被认为是CNN的先驱。1990年,LeCun发表了一篇奠定现在CNN结构的重要文章,他们构建了一个叫做LeNet-5的多层前馈神经网络,并将其用于手写体识别。就像其他前馈神经网络,它也可以使用反向传播算法来训练。它之所以有效,是因为它能从原始图像学习到有效的特征,几乎不用对图像进行预处理。然而由于当时训练数据量的缺乏以及计算能力的不足,LeNet-5无法在复杂问题上表现的很好,比如大规模图像分类以及视频分类处理。YannLeCun:纽约大学/Facebook自2006年以来,又有很多方法被提出来以克服在训练deepCNNs时遇到的困难。其中很重要的一个是AlexNet网络,它和LeNet-5很相似,但是在图像分类任务上有了很大的提升。随着AlexNet的成功,又有很多新的神经网络被提出来以提升它的性能。ZFNet(2014)VGGNet(2015)GoogleNet(2014)ResNet(2015)—championofILSVRC2015

CNN-OverviewZFNet(2014)VGGNet(2015)GoogleNet(2014)ResNet(2015)—championofILSVRC2015LeNet-5(1990)AlexNet(2012)上述这些神经网络一个很重要的趋势就是deeper,其中ResNet的深度是AlexNet的20倍,是VGGNet的8倍。随着深度的增加,网络能够更好的逼近非线性目标方程,并且能够学习到更加有效的特征。当然这也增加了模型的复杂度,使得模型很难训练并且容易过拟合。所以有很多方法被提出来用于解决CNNs的训练和过拟合问题。和传统的前馈神经网络类似,整个网络的模型有几种因素决定。我们传统的前馈神经网络隐藏层一般是全连接的,而CNN的隐藏层又分为convolutionallayer,poolinglayer和最后的fully-connectedlayer,这些隐藏层的区别是CNN之所以为CNN的重要原因,而另外各个神经元激活函数的选择以及整个网络损失函数的选择都与FNN类似。下面我们主要讲解LeNet-5。CNN的应用也很广泛,其中包括图像分类,目标检测,目标识别,目标跟踪,文本检测和识别以及位置估计等。

CNN-Overview上面提到CNN和FNN很重要的差异就是隐藏层的差异，CNN有convolutionallayer和poolinglayer，然后和最后的fully-connectedlayer共同构成卷积神经网络。而中间的隐藏层的连接方式又有三个重要的思想:sparseconnectivityandparametersharingandequivariantrepresentationconvolutionoperationandpoolingoperation

Convolution右图就是一个2维卷积的示意图,这里因为是离散的卷积,所以可以直接把卷积理解为矩阵相乘,即两个矩阵相乘,一个是输入矩阵,一个是卷积核矩阵。输入矩阵一般都表示二维的输入图像,而卷积核其实可以理解为图像处理里面的算子,比如这些算子可以实现一些边缘检测或者高斯模糊的效果,那么其实卷积操作可以理解为对图像进行一些特征处理。如图所示,一个卷积操作就是指卷积核和同样大小的一个图像矩阵相乘,然后再向下或者向右滑动卷积核,执行下一个卷积操作。这样用卷积核在整个图像上面滑动一遍便生成了一个卷积层。CNN的一个重要操作卷积是CNN的核心思想,就是这个卷积有效的提取了图像特征用于后面的图像识别。

Convolution右图的卷积核大小是2乘以2的,这可以看成是一