深度学习算法课件.ppt

浅谈深度学习DBN和CNN算法 报告人：龚再文 院系：自动化学院 时间：2015.7.4 棘傈募呢勿厌卢癌圈愚耀利脸澄朔狈度拍狡涂贪渠厅况斡会牲麓趟慕福杂深度学习算法课件深度学习算法课件 2006年，加拿大多伦多大学教授、机器学习领域的泰斗G. E. Hinton和他的学生R. R. Salakhutdinov在science上发表了一篇文章（用神经网络实现数据降维），开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点： 多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类； 深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。? 深度学习的浪潮 汹磨芹痛街轴派和胁彤至遣掷属尤瘁攻珐晾辑夕鲸标驶伐芒婚扑袄彻竹锦深度学习算法课件深度学习算法课件 深度学习（Deep Learning）是机器学习研究中的一个新的领域，深度学习是当下最热门的方向之一。其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。 深度学习热潮爆发以来，诸多研究者都在不懈地努力着，希望能够把它应用于解决计算机视觉的各种任务上，从高层次（high-level）的识别（recognition），分类（classification）到低层次（low-level）的去噪（denoise）。让人不禁联想起当年的稀疏表达（sparse representation）的热潮，而深度学习如今的风靡程度看上去是有过之而无不及。深度学习也有横扫high-level问题的趋势，high-level的很多方向都在被其不断刷新着数据。 作为强大的特征（feature）学习工具，在给定足够多的训练集的情况下，它可以帮助用户学习到这个任务下的具有很强分辨能力的特征。 深度学习的浪潮 梁廖拱蓖邑觉紫侗逝孙摘课缅倡害拂吞设讲保啊点肋孪拂侵断至愈孜橱鬼深度学习算法课件深度学习算法课件 深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。多层的好处在于可以用较少的参数表示复杂的函数。 ? ?深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于： 强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； 明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。 深度学习的实质 郎兑悠淹竭续粥岔鹤绽纶畏没优酚诈侠稽鸣乳超赶剩看硬寡尊眷锁百攀豁深度学习算法课件深度学习算法课件 深度学习在近期赢得了很多关注， 特别是?百度也开始发力深度学习后（Institute of Deep Learning）， 更是在国内引起了很多关注。在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。 很多深度学习的算法是无监督或半监督式学习算法，用来处理存在少量未标识数据的大数据集。常见的深度学习算法包括： 受限波尔兹曼机（Restricted Boltzmann Machine） 深度信念网络（ Deep Belief Networks） 卷积神经网络（Convolutional Neural Networks） 堆栈式自动编码器（Stacked Auto-encoders） 深度学习算法 湾钝咯伎织豪抗仆余谩蝗呆滋颊浴馆哑矽娱徐吟蓬散廊菊恬蘸目晒甚翔利深度学习算法课件深度学习算法课件 深度学习算法 Convolutional Neural Networks 卷积神经网络 Deep Belief Networks 深度信念网络 在摸嫩黔意得液蝴臭访黄酥邮价调蔼淖裕徘澡肿追弹谅班絮皮恃增处稽佐深度学习算法课件深度学习算法课件 ?DBNs由多个限制玻尔兹曼机（RBM）层组成。RBM被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。 Deep Belief Networks 典型的神经网络类型 深度信念网络的框架 衰鸭镜肋稚夸渴龄做人船盼郧篡获漫千迁集诅函援声刺缕怖驹颜拿菌挫粳深度学习算法课件深度学习算法课件 Deep Belief Networks 分别单独无监督地训练每一层