习的基本理论与.pptVIP

深度学习的应用深度学习在图像识别上的应用深度学习的应用深度学习在图像识别上的应用深度学习的应用深度学习在音频识别上的应用ConvolutionalDBNforaudioMaxpoolingnodeDetectionnodesMaxpoolingnodeDetectionnodes深度学习的应用深度学习在视频识别上的应用深度学习的应用深度学习在多模态学习中的应用深度学习好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。深度学习vs.神经网络神经网络：深度学习：相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个回归模型。不同点：神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deepnetwork（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradientdiffusion（梯度扩散）。深度学习vs.神经网络深度学习vs.神经网络神经网络的局限性：训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；比较容易过拟合，参数比较难调整，而且需要不少技巧；深度学习训练过程不采用BP算法的原因添加标题添加标题添加标题深度学习训练过程2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，方法是：首先逐层构建单层神经元，这样每次都是训练一个单层网络。当所有层训练完后，Hinton使用wake-sleep算法进行调优。每次仅调整一层，逐层调整。深度学习训练过程将除最顶层的其它层间的权重变为双向的。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。深度学习训练过程wake-sleep算法:wake阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重（认知权重）。深度学习训练过程EncoderDecoderInputImageClasslabelg.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:解码编码自顶向下的监督学习??????这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习模型是通过无监督学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。深度学习训练过程深度学习的具体模型及方法编码（Encoder）过程中，使用的不同的编码器有：自动编码器（AutoEncoder）稀疏自动编码器(SparseAutoEncoder)降噪自动编码器(DenoisingAutoEncoders)深度学习的具体模型及方法限制每次得到的表达code尽量稀疏限制每次得到的表达code尽量稀疏稀疏自动编码器(SparseAutoEncoder)深度学习的具体模型及方法SparseCodingFeaturesFiltersInput

Patch稀疏自动编码器(SparseAutoEncoder)深度学习的具体模型及方法稀疏自动编码器(SparseAutoEncoder)Training阶段：给定一系列的样本图片[x1,x2,…]，我们需要学习得到一组基[Φ1,Φ2,…]，也就是字典。可使用K-SVD方法交替迭代调整a[k]，Φ[k]，直至收敛，从而可以获得一组可以良好表示这一系列x的字典。深度学习的具体模型及方法稀疏自动编码器(Sp