“深度学习“学习笔记.docVIP

“深度学习”学习笔记 摘要：人工智能的飞跃发展得益于深度学习理论的突破以及移动互联网创造的大数据。本文梳理了人工智能、机器学习、深度学习的概念以及发展历程；介绍了深度学习基本理论、训练方法、常用模型、应用领域。 关键词： 机器学习、人工神经网路、深度学习、语音识别、计算机视觉 概述 2017年5月27日，围棋世界冠军柯洁与Google围棋人工智能AlphaGo的第三场对弈落下帷幕。在这场人机大战中，世界围棋第一人0:3完败于围棋人工智能。人工智能以气势如虹的姿态出现在我们人类的面前。人工智能AI（Artificial Intelligence）从此前的学术研究领域全面进入大众视野。整个业界普遍认为，它很可能带来下一次科技革命，并且，在未来可预见的10多年里，深刻得改变我们的生活。 1.1、 人工智能、机器学习、深度学习 什么是人工智能？ HYPERLINK /item/人工智能/9180 人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。上世纪50年代人工智能的理念首次提出，科学家们不断在探索、研究，但是人工智能的发展就磕磕碰碰。人工智能的发展经历了若干阶段，从早期的逻辑推理，到中期的专家系统，直到上世纪80年代机器学习诞生以后，人工智能研究终于找对了方向。 机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型对真实世界中的事件作出决策与预测的一种方法。基于机器学习的图像识别和语音识别得到重大发展。人工神经网络（Artificial Neural Networks）成为机器学习中的一个重要的算法，其中反向传播算法（Back Propagation）是最常用的ANN学习技术。基于BP算法的人工神经网路，主要问题是训练困难、需要大量计算，而神经网络算法的运算需求难以得到满足。进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机(SVM)算法取代了神经网络的地位。【SVM是个分类器，通过“核函数”将低维的空间映射到高维的空间，将样本从原始空间映射到一个更高维的特质空间中，使得样本在这个新的高维空间中可以被线性划分为两类，再将分割的超凭你们映射回低维空间。】 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1、多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2、深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围。深度学习在语音识别和图像识别等领域获得了巨大的成功因此极有可能是真正实现人工智能梦想的关键技术。 人工智能、机器学习（Machine Learning）和深度学习（Deep Learning）之间的关系，如图1所示。人工智能是机器学习的父类。深度学习则是机器学习的子类。 图 1 人工智能、机器学习、深度学习关系 人工神经网络 人工神经网络（ANN）受到生物学的启发是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。 图 2 单个神经元 图 3人工神经网路 2.1、 BP算法 BP (Back Propagation)神经网络，即 误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入 误差的反向传播阶段。 误差通过输出层，按误差梯度下降【求取偏导数】的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和 误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止 2.2、BP算法存在的问题 （1）、收敛速度慢，梯度越来越稀疏