一文读懂卷积神经网络CNN.pdf

一文读懂卷积神经网络 CNN ★据说阿尔法狗战胜李世乭靠的是卷积神经网络算法， 所以小编找到了一篇介绍该算法的文章，大家可以看一看。 ★ 自去年七月份以来，一直在实验室负责卷积神经网络 （Convolutional Neural Network ，CNN ），期间配置和使用过 theano 和 cuda-convnet 、cuda-convnet2 。为了增进 CNN 的理 解和使用，特写此博文，以其与人交流，互有增益。正文之 前，先说几点自己对于 CNN 的感触。先明确一点就是， Deep Learning 是全部深度学习算法的总称， CNN 是深度学习算法 在图像处理领域的一个应用。第一点，在学习 Deep learning 和 CNN 之前，总以为它们是很了不得的知识，总以为它们 能解决很多问题，学习了之后，才知道它们不过与其他机器 学习算法如 svm 等相似，仍然可以把它当做一个分类器，仍 然可以像使用一个黑盒子那样使用它。第二点， Deep Learning 强大的地方就是可以利用网络中间某一层的输出当 做是数据的另一种表达，从而可以将其认为是经过网络学习 到的特征。基于该特征，可以进行进一步的相似度比较等。 第三点， Deep Learning 算法能够有效的关键其实是大规模的 数据，这一点原因在于每个 DL 都有众多的参数，少量数据 无法将参数训练充分。接下来话不多说，直接奔入主题开始 CNN 之旅。卷积神经网络简介（ Convolutional Neural Networks ，简称 CNN ）卷积神经网络是近年发展起来，并引 起广泛重视的一种高效识别方法。 20 世纪 60 年代， Hubel 和 Wiesel 在研究猫脑皮层中用于局部敏感和方向选择的神 经元时发现其独特的网络结构可以有效地降低反馈神经网 络的复杂性， 继而提出了卷积神经网络 （Convolutional Neural Networks- 简称 CNN ）。现在，CNN 已经成为众多科学领域的 研究热点之一，特别是在模式分类领域，由于该网络避免了 对图像的复杂前期预处理，可以直接输入原始图像，因而得 到了更为广泛的应用。 K.Fukushima 在 1980 年提出的新识别 机是卷积神经网络的第一个实现网络。随后，更多的科研工 作者对该网络进行了改进。其中，具有代表性的研究成果是 Alexander 和 Taylor 提出的“改进认知机” ，该方法综合了各 种改进方法的优点并避免了耗时的误差反向传播。一般地， CNN 的基本结构包括两层， 其一为特征提取层， 每个神经元 的输入与前一层的局部接受域相连，并提取该局部的特征。 一旦该局部特征被提取后，它与其它特征间的位置关系也随 之确定下来；其二是特征映射层，网络的每个计算层由多个 特征映射组成，每个特征映射是一个平面，平面上所有神经 元的权值相等。特征映射结构采用影响函数核小的 sigmoid 函数作为卷积网络的激活函数，使得特征映射具有位移不变 性。此外，由于一个映射面上的神经元共享权值，因而减少 了网络自由参数的个数。卷积神经网络中的每一个卷积层都 紧跟着一个用来求局部平均与二次提取的计算层，这种特有 的两次特征提取结构减小了特征分辨率。 CNN 主要用来识别 位移、缩放及其他形式扭曲不变性的二维图形。由于