卷积神经网络及应用.pptVIP

卷积神经网络研究及其应用015034910079王颜 1 目录 一、研究现状 二、神经网络与卷积神经网络 三、卷积神经网络应用 四、总结与展望 2 CNN的发展及研究现状 神经网络是神经科学与计算机科学结合的产物。 神经网络的研究几经起落，直到2006年，深度学习提出，深度神经网研究兴起。 Hubel和wiesel通过对猫的视觉系统的实验，提出了感受野的概念。基于视觉神经感受野的理论，有学者提出CNN。 一、研究现状 3 CNN的发展及研究现状 深度学习在语音识别、图像识别等领域摧枯拉朽。 一、研究现状 4 国际会议、期刊等涌现大量深度学习的文章，CNN被引入很多领域。 知名高科技公司都在深度学习领域加大投入。 神经网络起源 二、神经网络与卷积神经网络 5 神经网络-训练过程 二、神经网络与卷积神经网络 6 神经网络-训练理念（梯度下降） 各变量满足如下公式： 求vjk的梯度： 求wij的梯度： 二、神经网络与卷积神经网络 7 BP算法的规律 二、神经网络与卷积神经网络 8 卷积神经网络 卷积神经网络是神经网络的一种变形 卷积神经网络与神经网络的主要区别就是CNN采用了卷积和子采样过程。 神经生物学中局部感受野的提出（1962）催生了卷积的思想。 卷积减少了CNN网络参数，子采样减少了网络参数，权值共享大大减少的CNN网络参数。但是CNN具备深层结构。 二、神经网络与卷积神经网络 9 局部感受野 二、神经网络与卷积神经网络 10 卷积神经网络的一般结构 11 二、神经网络与卷积神经网络 卷积 卷积核kernal在inputX图中从左向右，从上至下每次移动一个位置,对应位置相乘求和并赋值到OutputY中的一个位置。 二、神经网络与卷积神经网络 12 子采样（pooling） 子采样通常有两种形式。均值子采样和最大值子采样，子采样可以看做一种特殊的卷积过程。 二、神经网络与卷积神经网络 13 前向卷积过程 二、神经网络与卷积神经网络 14 二、神经网络与卷积神经网络 15 编码实现CNN 我们采用了6w张手写数字图片作为训练集，用1w手写数字图片作为测试集。 经过100次迭代，在训练集上得到99.51%的准确率，在测试集上得到98.8%的准确率。 三、卷积神经网络应用 16 CNN特征选取 本文的CNN模型的输入是语音的频谱特征 17 本文CNN网络结构描述 18 19 20 21 22 展望 由于采用使用的训练数据较少，CNN尝试的网络结构及参数也少，我们还有很大的模型的调优空间。 未来CNN还可以尝试使用更深层的网络结构，使用更好的语音特征。由于深度网络对数据描述的能力更强,我们预测增加训练数据并经合理的训练可以达到更好的结果。 四、总结与展望 23 Thank You ! 24