卷积神经网络CNN.ppt

ConvolutionalNeuralNetworks

卷积神经网络

主要内容卷积神经网络—诞生背景与历程卷积神经网络应用—LeNet-五手写数字识别深度学习—Hinton做了些什么深度学习在数字图像识别上的运用—Hinton如何在二0一二年ImageNet引起轰动

卷积神经网络提出的背景浅层神经网络大约二三十年前,神经网络曾经是机器学习领域特别热门的一个方向,这种基于统计的机器学习方法比起过去基于人工规则的专家系统,在很多方面显示出优越性.

卷积神经网络提出的背景但是后来,因为理论分析的难度,加上训练方法需要很多经验和技巧,以及巨大的计算量和优化求解难度,神经网络慢慢淡出了科研领域的主流方向.值得指出的是,神经网络[如采用误差反向传播算法：BackPropagation,简称BP算法,通过梯度下降方法在训练过程中修正权重使得网络误差最小]在层次深的情况下性能变得很不理想[传播时容易出现所谓的梯度弥散GradientDiffusion或称之为梯度消失,根源在于非凸目标代价函数导致求解陷入局部最优,且这种情况随着网络层数的增加而更加严重,即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小],所以只能转而处理浅层结构[小于等于三],从而限制了性能.

浅层神经网络的缺陷于是,二0世纪九0年代,有更多各式各样的浅层模型相继被提出,比如只有一层隐层节点的支撑向量机[SVM,SupportVectorMachine]和Boosting,以及没有隐层节点的最大熵方法[例如LR,LogisticRegression]等,在很多应用领域取代了传统的神经网络.显然,这些浅层结构算法有很多局限性：在有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定的制约.更重要的是,浅层模型有一个特点,就是需要依靠人工来抽取样本的特征.然而,手工地选取特征是一件非常费力的事情,能不能选取好很大程度上靠经验和运气.能不能自动地学习一些特征呢?

卷积神经网络早在一九八九年,YannLeCun[现纽约大学教授]和他的同事们就发表了卷积神经网络[ConvolutionNeuralNetworks,简称CNN]的工作.CNN是一种带有卷积结构的深度神经网络,通常至少有两个非线性可训练的卷积层,两个非线性的固定卷积层[又叫PoolingLayer]和一个全连接层,一共至少五个隐含层.CNN的结构受到著名的Hubel-Wiesel生物视觉模型的启发,尤其是模拟视觉皮层V一和V二层中SimpleCell和ComplexCell的行为.

卷积神经网络应用LeNet-五手写数字识别三大特点：一、局部感受野二、权值共享三、次采样[pooling]

重点概念卷积核[卷积滤波器]特征图[FeatureMap]C层是一个卷积层：通过卷积运算,可以使原信号特征增强,并且降低噪音S层是一个下采样层：利用图像局部相关性的原理,对图像进行子抽样,可以减少数据处理量同时保留有用信息F六层是经典神经网络：输入向量和权重向量之间的点积,再加上一个偏置.然后将其传递给sigmoid函数产生单元i的一个状态.

C一层：输入图片大小： 三二*三二卷积窗大小： 五*五卷积窗种类： 六输出特征图数量： 六输出特征图大小： 二八*二八 [三二-五+一]神经元数量： 四七0七[[二八*二八]*六]]连接数： 一二三0四[[五*五+一]*六]*[二八*二八]可训练参数： 一五六 [[五*五+一]*六]

S二层：输入图片大小： [二八*二八]*六卷积窗大小： 二*二卷积窗种类： 六输出下采样图数量：六输出下采样图大小：[一四*一四]*六神经元数量： 一一七六 [一四*一四]*六连接数： 五八八0 [二*二+一]*[一四*一四]*六可训练参数： 一二 [六*[一+一]]

卷积和子采样过程： 卷积过程包括：用一个可训练的滤波器fx去卷积一个输入的图像[第一阶段是输入的图像,后面的阶段就是卷积特征map了],然后加一个偏置bx,得到卷积层Cx. 子采样过程包括：每邻域四个像素求和变为一个像素,然后通过标量Wx+一加权,再增加偏置bx+一,然后通过一个sigmoid激活函数,产生一个大概缩小四倍的特征映射图Sx+一.

C三层输入图片大小：[一四*一四]*六卷积窗大小：五*五卷积窗种类：一五输出特征图数量：一六输出特征图大小：一0*一0[一四-五+一]神经元数量：一六00[[一0*一0]*一六]]连接数： 一五一六00[六0+一六]*[一0*一0]*二五[部分连接]可训练参数：一五一六 [[六0+一六]*二五][C三中的每个特征map是连接到S二中的所有六个或者几个特征map的,表示本层的特征map是上一层提取到的特征m