深度学习PPT资料.pptx

深度学习 ----许洛 深度学习（DL） 深度学习（DL） 60、70年代，神经网络（NNs）最早可以追溯的时期，构建出连续非线性层的神经元模型； 随后，建立带有梯度下降的BP模型，1981年首次NN得到应用； 80年代末，基于BP训练的深度神经网络（Deep NNs）依然很难实现，90年代开始成为研究主体； 1991， 通过无导学习的深度学习（Deep Learning，DL）在实际中可以运用； ?2009，有导师学习的DL在大部分国际模式识别竞赛中领先于其他机器学习方法，并且第一个实现超人视觉模式识别，从此赢得广泛关注。 文献参考：Deep learning in neural networks: An overview 深度学习（DL） BP 神经网络（BPNNs）网络存在的主要问题： 1. 一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多； 2. 对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败）； 3. 图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。 深度学习（DL） 最早的DL：前馈神经网络 feedforward (acyclic) NNs (FNNs) 和周期神经网络 recurrent (cyclic) NNs (RNNs) ； 目前应用较普遍的是深度置信网络(deep belief network ,DBN)和卷积神经网络（CNN），DBN网络可以看作是由多个受限 玻 尔 兹 曼 机叠加而成，CNN通过local receptive fields（感受野），shared weights（共享权值），subsampling（下采样）概念来解决BP网络的三个问题。 深度学习（DL） 手写字体识别 由手写字体组成图像样本 经典数据库：mnist，共60000训练样本，10000个预测样本； 训练样本维度：28*28*60000 训练标签维度：10*60000 图例： CNN经典程序下载:/rasmusbergpalm/DeepLearnToolbox 语音识别 参考：《基于深度学习的语音识别应用研究_张建华》 该文献通过深度神经网络提取语音特征的方法、深度神经网络提取声韵母属性的方法、深度学习搭建声学模型的方法对比； 一般的语音识别多提取每帧长25ms、帧移10ms的语音对应的MFCC特征,该文提取使用fBank特征。 CNN CNN结构图： CNN 在Toolbox的实现中，C1共有6个卷积核，则卷积结果6个特征map;卷积层的一个map与上层的所有map都关联，如上图的S2和C3，即C3共有6*12个卷积核， C1有156个可训练参数（每个滤波器5*5=25个 unit 参数和一个 bias 参数，一共6个滤波器，共(5*5+1)*6=156个参数）。 最后一层将4*4的map平铺成一条特征数组，用于训练。 输入图像：28*28 卷积层： 均为5*5 采样核大小：均为2*2。 卷积层 卷积层的每一个特征map是不同的卷积核在前一层所有map上作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。 假设上一层的map大小是n*n、卷积核的大小是k*k，则该层的map大小是(n-k+1)*(n-k+1)，比如上图的24*24的map大小24=（28-5+1）。 参见网址：/lu597203933/article/details采样层是对上一层map的一个采样处理，相当于对上一层map的相邻小区域进行聚合统计，区域大小为scale*scale，有些是取小区域的最大值，而ToolBox里面的实现是采用2*2小区域的均值。CNN ToolBox里面也是用卷积来实现采样的，卷积核是2*2，每个元素都是1/4。 池化层 反向传输 反向传输过程是CNN最复杂的地方，虽然从宏观上来看基本思想跟BP一样，都是通过最小化残差来调整权重和偏置，但CNN的网络结构并不像BP那样单一，对不同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难。计算公式如下： 谢谢