2025【卷积神经网络的基本理论及前向传播分析综述4400字】.docx

卷积神经网络的基本理论及前向传播分析综述

目录

TOC\o1-2\h\u32401MNIST数据集介绍 1

15661.2卷积层 2

281851.2.1卷积运算 2

22851.2.2步幅 5

51431.2.3填充 6

91831.3池化层 7

215401.1.1最大池化 7

26031.1.2平均池化 8

88341.4Flatten层、全连接层与输出层 9

157231.5激活函数 9

182581.5.1Sigmoid函数 9

180201.5.2Tanh函数 10

114691.5.3Relu函数 11

248051.5.4Softmax函数 11

61621.6损失函数 12

71321.6.1均方误差 12

270041.6.2交叉熵误差 12

MNIST数据集介绍

MNIST数据集是由250个人手写构成的含有70000张0~9数字图像及对应标签的数据集合，每张数字图像均是宽高像素值为28的灰度图（通道为1），元素取值范围是0~255（0为黑色，255为白色），标签则是对应图像中的数字。MNIST数据集提供的训练样本大，且满足手写数字因地域、写字风格等差别造成的同一数字多种写法的实际情况，因此常常用于神经网络的学习推理，是训练神经网络的最常用的数据集之一。MNIST数据集在官方定义的分类上，可分为训练集和测试集：

（1）训练集有60000张数字图像，图像形状为（60000,28,28）的三维数组，标签形状为包含60000个元素的一维数组，该集合用于训练神经网络，调整权重和偏置，使损失函数达到全局最小值。

（2）测试集有10000张数字图像，图像形状为（10000,28,28）的三维数组，标签形状为包含10000个元素的一维数组，该集合用于测试通过训练集训练好的神经网络的识别性能，即是否具有良好的泛化能力和较高的识别精度。

导入MNIST数据集，查看训练集前25张图像，显示如图1.1.1所示。

图1.1.1MNIST训练集数字图像

1.2卷积层

1.2.1卷积运算

本文将采用MNIST数据集训练测试所搭建的卷积神经网络，由上文介绍可知，MNIST数据集中均是通道数为1的灰度图，因此这里将以通道数为1的输入图像数据为例，来简单介绍卷积运算的具体流程。假设原始输入图像数据和卷积核（又称滤波器）的形状如图1.2.1所示。

图1.2.1输入图像数据和卷积核

由图1.2.1可知，输入图像像素为5x5和卷积核形状为3x3，卷积核按从上到下和从左到右的顺序扫描运算输入图像数据，卷积核的元素和输入图像数据中的对应元素相乘再累加，即可得到输出数据。其中，卷积核中的元素对应于权重，即神经网络训练调整的对象。运算过程第一、第二、第三、第四个输出数据运算分别如图1.2.2、图1.2.3、图1.2.4和图1.2.5所示，全部运算输出结果如图1.2.6所示。

图1.2.2第一个输出运算

图1.2.3第二个输出运算

图1.2.4第三个输出运算

图1.2.5第四个输出运算

图1.2.6全部输出运算结果

此外，卷积层中同样含有偏置参数，通常偏置值默认为0，当偏置不为0时，卷积运算后得到的输出结果中的各个元素会均加上偏置值，假设偏置为1，卷积运算结果如图1.2.6中所示，则加上偏置后的输出结果如图1.2.7所示。

图1.2.7偏置运算结果

默认偏置为0，当输入数据为多通道时，输入数据和卷积核的通道数c必须相同，否则无法顺利进行卷积运算，在对应的各个通道中，用卷积核对输入数据进行如上文介绍的单通道卷积运算，可以得到c个中间结果值，将c个中间结果值的对应位置进行累加，即可得到每个卷积核对应输出数据，其本质与单通道的卷积运算相同。此外，当有n个卷积核时，用每个卷积核与输入数据进行卷积运算，可得到n个中间输出，将其重新组成通道数为n的新数据作为输出结果，即有多少个卷积核参与卷积运算，输出结果就有多少个通道数，结合下面例子进行理解：

用（个数,宽像素,高像素,通道数）格式表示数据形状，若输入数据形状为（1,28,28,3），卷积核形状为（32,5,5,3），这里两个形状中的对应位置3应相同，则中间输出形状为（32,24,24,1），当中间输出作为下一个层的输入数据时，则形状变换成（1,24,24,32），即宽高均为24且通道数为32的数据，当再进行卷积运算时，卷积核通道数应为32。

1.2.2步幅

步幅（又称stride）是在卷积运算时通过改变卷积核扫描输入数据的像素单元个数，来控制输出结果大小的超参数，这里的超参数与参数不同，它由人工设定且无法在神经网络训练中进行调整，步幅