深度学习及自动驾驶应用 课件 第3--5章 卷积神经网络理论及实践、网络优化与正则化、基于CNN的自动驾驶目标检测理论与实践.pptx

;;全连接神经网络模型回顾;问题导入;建立模型;;;;问题导入;;第二个发现：

大小改变，鸢尾花仍然可以有效区分

如何利用这个特性？

可能的做法：

在神经网络逐层累加的过程中，可以直接对图像进行缩放;

缩放到适当大小后，可以在特征提取过程中得到有效响应。;建立模型;目录;;卷积层+激活函数+池化层+全连接层 ;建立模型;建立模型;建立模型;640x480;建立模型;全连接神经网络;建立模型;10;10;10;10;10;建立模型;10;10;;;;;;;;;;;建立模型;;;;建立模型;建立模型;10;10;10;10;10;1.卷积层+激活函数+池化层的组合多次出现提取特征

2.多个全连接层或特殊的CNN结构做为输出层 做分类器/检测器/分割器;建立模型;建立模型;损失函数;损失函数;损失函数;建立模型;梯度下降法;梯度下降法;梯度下降法使用样本方式的变种;梯度下降方式的优化;反向传播算法;目录;经典模型(LeNet-5);MNIST数据集：计算机视觉领域的一个经典案例，0~9的手写数字识别数据集，输入的原始图像是28x28x1的灰度图像，要从中识别出图片是0~9这10个数字中哪一个。MNIST一般会被当着深度学习中的基本练习，类似于学习编程时的“HelloWorld”。;经典模型(LeNet-5);C1层（卷积层）：6个卷积核，卷积核大小为5×5,步长为1，featuremap的大小为?32-5+1=28，得到6个大小为32-5+1=28的特征图，也就是神经元的个数为6×28×28=4704；

6个卷积核，卷积核大小为5×5，共有6×25+6=156个参数（加了6个偏置）。;S2层（pooling层）：池化核大小选择2?2，每个下采样节点的4个输入节点求和后乘上一个权重参数，再加上一个偏置参数作为激活函数的输入，激活函数的输出即是节点的值，得到6个14×14大小的featuremap；

每个featuremap的权值和偏置值都是一样的，则共有6×2=12个参数。;C3层(卷积层)：C3层有16个10x10的特征图，共有60个卷积核，C3跟S2并不是全连接的，具体连接方式如右上表所示，每个卷积核大小为5×5；则共有60×25+16=1516个参数（加16个偏置）。;C3层(卷积层)：C3与S2中前3个图相连的卷积结构。;S4层(下采样层)：对C3的16张10×10特征图进行最大池化，池化核大小为2×2，得到16张大小为5×5的特征图???神经元个数已经减少为:16×5×5=400；每个下采样节点的4个输入节点求和后乘上一个权重参数加上一个偏置参数作为sigmoid激活函数的输入，激活函数的输出即是节点的值，每个特征图的权值和偏置值都是一样的，则共有16×2=32个参数。;C5层(卷积层)：用5×5的卷积核进行卷积，然后我们希望得到120个特征图，特征图大小为

5-5+1=1，神经元个数为120（这里实际上用卷积实现了全连接）；

由S4中的16个5×5大小的特征图变为120个1×1的特征图，S4和C5的所有特征图之间全部相连，有120×16=1920个卷积核，每个卷积核大小为5×5；则共有1920×25+120=48120个参数。;F6层(全连接层)：有84个节点，该层的训练参数和连接数都(120+1)×84=10164。

Output层(输出层)：共有10个节点，分别代表数字0到9，该层的训练参数和连接数都(84+1)×10=850。采用的是径向基函数(RBF)的网络连接方式（现在已经变为softmax）。;一般池化操作是没有参数的，LeNet-5中在池化层整体增加了权重参数和偏置；

卷积层的参数相对较少，大量的参数都存在于全连接层；

随着神经网络的加深，激活值尺寸会逐渐变小，但是，如果激活值尺寸下降太快，会影响神经网络的性能。;在卷积神经网络中，卷积核大小、卷积核个数(特征图需要多少个)、池化核大小(采样率多少)这些参数都是变化的，这就是所谓的CNN调参，需要学会根据需要进行不同的选择。;LeNet-5网络要求的输入图像的尺寸是32x32x1,需要对原始尺寸为28x28x1的MNIST数据集中的图像进行一些预处理，比如在原始图像周边填充上足量的0，或者对原始图像使用插值法来调整尺寸。;经典模型(AlexNet);经典模型(AlexNet);经典模型(AlexNet);经典模型(AlexNet);经典模型(AlexNet);经典模型(VGGNet);经典模型(VGG