卷积神经网络全面解析之代码详解参照.pdfVIP

卷积神经网络全面解析 之 代码详解 本文介绍多层感知机算法，特别是详细解读其代码实现，基于 python theano ，代码来自 ：Convolutional Neural Networks (LeNet) 。 一、 CNN 卷积神经网络原理简介 要讲明白卷积神经网络， 估计得长篇大论，网上有很多博文已经写得很 好了，所以本文就不重复了，如果你了解 CNN ，那可以往下看，本文 主要是详细地解读 CNN 的实现代码。 CNN 的最大特点就是稀疏连接（局部感受）和权值共享，如下面两图 所示，左为稀疏连接，右为权值共享。稀疏连接和权值共享可以减少所 要训练的参数，减少计算复杂度。 至于 CNN 的结构，以经典的 LeNet5 来说明： 这个图真是无处不在， 一谈 CNN ，必说 LeNet5 ，这图来自于这篇论文： Gradient-Based Learning Applied to Document Recognition ，论文很 长，第 7 页那里开始讲 LeNet5 这个结构，建议看看那部分。 我这里简单说一下， LeNet5 这张图从左到右，先是 input ，这是输入 层，即输入的图片。 input-layer 到 C1 这部分就是一个卷积层 （convolution 运算） ，C1 到 S2 是一个子采样层 （pooling 运算） ， 关于卷积和子采样的具体过程可以参考下图： 然后， S2 到 C3 又是卷积， C3 到 S4 又是子采样，可以发现，卷积和 子采样都是成对出现的，卷积后面一般跟着子采样。 S4 到 C5 之间是 全连接的，这就相当于一个 MLP 的隐含层了（如果你不清楚 MLP ，参 考《DeepLearning tutorial （3 ）MLP 多层感知机原理简介 + 代码详解 》）。 C5 到 F6 同样是全连接，也是相当于一个 MLP 的隐含层。最后从 F6 到输出 output ，其实就是一个分类器，这一层就叫分类层。 ok ，CNN 的基本结构大概就是这样，由输入、卷积层、子采样层、全 连接层、分类层、输出这些基本 “构件 ”组成，一般根据具体的应用或者 问题，去确定要多少卷积层和子采样层、采用什么分类器。当确定好了 结构以后，如何求解层与层之间的连接参数？一般采用向前传播（ FP） + 向后传播（ BP ）的方法来训练。具体可参考上面给出的链接。 二、 CNN 卷积神经网络代码详细解读（基于 python+theano ） 代码来自于深度学习教程： Convolutional Neural Networks (LeNet) ， 这个代码实现的是一个简化了的 LeNet5 ，具体如下： 没有实现 location-specific gain and bias parameters 用的是 maxpooling ，而不是 average_pooling 分类器用的是 softmax ，LeNet5 用的是 rbf LeNet5 第二层并不是全连接的，本程序实现的是全连接 另外，代码里将卷积层和子采用层合在一起，定义为 “LeNetConvPoolLayer （卷积采样层），这好理解，因为它们总是成“ 对出现。 但是有个地方需要注意