神经网络原理与应用课程深度学习调研报告魏嫒嫒.doc

NORTHWESTERN POLYTECHNICAL UNIVERSITY 研宄生课程报告 （2016 秋） 总分 时间 课程名称 神经网络原理与应用 课程代码 88509 级 另iJ 硕士生 学生姓名 魏嫒嫒 学 号 2016261392 学生邮箱 HYPERLINK mailto:1210270950@1210270950@ 学生电话教师姓名 ProfMingyi HE 学院/学科 电子信息学院 上交时间 2017.01.10 To: HYPERLINK mailto:1740695800@1740695800@ 神经网络原理与应用课程深度学习调研报告 1 深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习 的神经络，它模仿人脑的机制来解释数据。近年来，深度学习在各个研究领域上 也取得了丰硕的研究成果。本文简要论述了深度学习的背景、进展、模型、原理、 算法以及各领域的应用，最后说明了深度学习的问题以及发展趋势。 2背景与意义 2006年，Hinton提出了深度置信网络(DBN)，一种深层网络模型。使用一 种无监督训练方法来解决问题并取得良好结果。DBN (Deep Belief Networks)的 训练方法降低了学习隐藏层参数的难度。并且该算法的训练时间和网络的大小和深 度近乎线性关系。 区別于传统的浅层学＞J,深度学更加强调模型结构的深度，明确特征学:^的 重要性，通过逐层特征变换，将样本元空间特征表示变换到一个新特征空间，从而 使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特 征，更能够刻画数据的丰富内在信息。 相较浅层模型，深度模型具有巨大的潜力。在有海量数据的情况下，很容易通 过增人模型来达到更高的正确率。深度模型可以进行无监督的特征提取，直接处理 未标注数据，学〉J结构化特征，因此深度学也叫做Unsupervised Feature Learningo随着GPU、FPGA等器件被用于高性能计算、祌经网络硬件的出现和分 布式深度学习系统的出现，深度学习的训练时间被大幅缩短，使得人们可以通过单 纯的增加使用器件的数量来提升学习的速度。深层网络模型的出现，使得世界上无 数难题得以解决，深度学习己成为人工智能领域最热门的研究方向。 3国内外进展 国外进展： 2010年，美国国防部DARPA计划酋次资助深度学习项目。 2011年，微软研宄院和谷歌的语言识别研宄人员先后采用DNN技术降低语咅识别 错误率20%-30%,是该领域10年來最大突破 2012年，Hinton将ImageNet图片分类问题的Top5错误率由26%降低至15%。同 年Andrew Ng与Jeff Dean搭建Google Brain项目，用包含16000个CPU核的并行 结算平台训练超过10亿个祌经元的深度网络，在语音识别和图像识别领域取得突 破性进展。 2013 年，Hinton 创立的 DNN Research 公司被 Google 收购，Yann LeCun 加盟 Facebook的人工智能实验室。 2014年，Google将语言识别的精准度从2012年的84%提升到如今的98%,移动端 Android系统的语言识别正确率提高丫 25%。人脸识别方面，Google的人脸识别系 统FaceNet在LFW上达到99.63%的准确率。 2015年，Microsoft采用深度神经网络的残差学习方法将Imagenet的分类错误率降 低至3.57%,已低于同类试验中人眼识别的错误率5.1%,其采用的神经网络已达 到152层。 2016年，DeepMind使用了 1920个CPU集群和280个GPU的深度学习围棋软件 AlphaGo战胜人类围祺冠军李世石。 国内进展： 2012年，华为在香港成立“诺亚方舟实验室”从事自然语言处理、数据挖掘与机器 学习、媒体社交、人际交互等方面的研究。 2013年，百度成立“深度学习研宄院”（IDL）,将深度学习应用于语言识别和图像 识别、检索，2014年，Andrew Ng加盟否度。 2013年，腾讯着手建立深度学习平台Mariana，Mariana面向识别、广告推荐等众 多应用领域，提供默认算法的并行实现。 2015年，阿里发布包含深度学习开放模块的DTPAI人工智能平台。 深度学习的研究己经渗透到生活的各个领域，己成为人工智能技术的主要发展 方向。人工智能最终的目的是使机器具备与人相当的归纳能力，学习能力，分析能 力和逻辑思考能力，虽然当前的技术离这一目标还很遥远，但是深度学习无疑提供 了一种可能的途径，使得机器在单一领域的能力超越人类。 4基本模型与原理 深度学习采用的模型力深层神经网络（Deep Neural Networks, DNN）模型， 即