卷及神经网络.pptx

卷积神经网络——CNN孙健2016年5月30日引言主要内容 CNN发展CNN层次结构1.数据输入层 2.卷积层 3.激励层 4.池化层 5.全连接层CNN设计和训练1.结构模式 2.结构优化 3.模型微调 4.典型Case 5.常用框架CNN应用1.图像分类 2.图像检测 3.图像分割 4.图像理解 5.AlphaGo1 CNN发展Hinton强强联合BP算法CNN雏形DeepFaceAlphaGoImageNetDeepIDLeNet-52006201220161986~19981 CNN发展1986~1998：正式成型LeCun第一次成功应用卷积神经网络实现对邮政编码和数字的理解1998~2006：打入冷宫原因：吃设备；有良好的替代品，诸如SVM,LR1 CNN发展2006：再度觉醒Hinton在《Science》上发表文章，惊世骇俗之作 它指出多隐层神经网络具有更为优异的特征学习能力，并且其在训练上的复杂度可以通过逐层初始化来有效缓解GPU加速条件下，CNN快速崛起 1 CNN发展2012：一炮打响 ImageNet比赛上CNN一鸣惊人，分类问题上Top5错误率为16.4%，而采用特征工程的第二名Top5错误率为26.2%2014：人脸识别模型横空出世 Facebook AI实验室的DeepFace和香港中文大学DeepID-Net团队的DeepID直接将LFW数据库人脸识别的准确率刷到99.75% 1 CNN发展2015：深度学习领域三巨头LeCun、Bengio、Hinton在《Nature》上发表科普性综述《Deep Learning》2016.3：惊喜 谷歌研发的基于深度卷积神经网络和蒙特卡洛有哪些信誉好的足球投注网站树开发的AlphaGo击败了李世石2016.5:我在讲CNN 2 CNN层次结构 2.1 数据输入层 输入：单张原始图像 预处理操作：去均值 归一化(可做可不做) 原始数据去均值数据归一化数据2.2 卷积层2.2 卷积层若向前向全连接网络输入32×32×3图像输入层即有32×32×3个神经元第一层隐藏层一个 神经元有 32×32×3个参数！！ 2.2 卷积层局部连接性 通过局部连接，一个神经元参数减少为9个！！ 7×7×3输入图像R通道隐藏层第一个特征图-10-110-1-100x0(0,0)神经元的卷积核 独享y2.2 卷积层参数共享 假设隐藏层每个特征图使用同一组权值参数 7×7×3输入图像R通道隐藏层第一个特征图-10-110-1-100x0右图神经元的卷积核 共享y2.2 卷积层 28×28×1特征图32×32×3图像高度5×5×3卷积核 卷积宽度深度2.2 卷积层 -1-1-1-18-1-1-1-1=*-1-10-101011=*2.2 卷积层 28×28×6特征图32×32×3图像 5×5×3卷积核 含6个卷积核2.2 卷积层 卷积层超参 卷积核大小F×F——局部感受野大小 卷积核数目K——输出量深度 stride S——卷积核滑动步长 zero padding数目 P——补零圈数 2.2 卷积层 卷积核3*3，滑动步长S=1，边界补偿P=1， 00000000012000021012000000100012120011222000000003×3×1卷积核4-1-10-101011=*2.2 卷积层 卷积核3*3，滑动步长S=1，边界补偿P=1 00000000012000021012000000100012120011222000000003×3×1卷积核43-1-10-101011=*2.2 卷积层 卷积核3*3，滑动步长S=1，边界补偿P=1 00000000012000021012000000100012120011222000000003×3×1卷积核430121-3-310-1023-135440102-3-5-1-10-101011=*2.2 卷积层输入：5×5×3卷积核：F=3卷积核数：K=2 P=2 S=1输出：3×3×22.2 卷积层 卷积层输入输出关系 设输入量为W1×H1×D1 输出量为W2×H2×D2 则W2=(W1-F+2P)/S+1 H2=(H1-F+2P)/S+1 D2=K 卷积核：F×F卷积核数：K滑动步长:S补零圈数：P2.2 卷积层 式：（32-5+0×2)/1+1=2828×28×6特征图32×32×3图像 5×5×3卷积核 含6个卷积核2.2 卷积层可视化2.2 卷积层可视化2.2 卷积层可视化2.3 激励层本质是把卷积层输出结果做非线性映射弃用的激励函数 Sigmoid函数 Sigmoid两侧导函数接近 于0，在BP算法中会产生饱 和现象，参数无法继续训练 Tanh函数 有同