深度学习的基本理论与方法分析.ppt

概述 动机 深度学习简介 深度学习的训练过程 深度学习的具体模型及方法 深度学习的性能比较 深度学习的应用 展望 参考文献 相关程序软件及链接 人脑视觉机理 1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制 发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃 人脑视觉机理 人的视觉系统的信息处理是分级的 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图 抽象层面越高，存在的可能猜测就越少，就越利于分类 特征表示的粒度 具有结构性（或者语义）的高层特征对于分类更有意义 初级（浅层）特征表示 结构性特征表示 浅层学习的局限 人工神经网络（BP算法） —虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型 SVM、Boosting、最大熵方法（如LR，Logistic Regression） —带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型 局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类； 2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。 本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。 与浅层学习区别： 1）强调了模型结构的深度，通常有5-10多层的隐层节点； 2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。 神经网络 ： 深度学习： 相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模型。 不同点： 神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛； 深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deep network（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。 神经网络的局限性： 1）比较容易过拟合，参数比较难调整，而且需要不少技巧； 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优； 不采用BP算法的原因 （1）反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小； （2）收敛易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易导致这一情况； （3）BP算法需要有标签数据来训练，但大部分数据是无标签的； 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。 wake-sleep算法: 1）wake阶段： 认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。 2）sleep阶段： 生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是