基于人工神经网络的深度学习算法综述.docx

基于人工神经网络的深度学习算法综述 作者：刘俊一 来源：《中国新通信》 2018年第6期 【摘要】 众所周知，深度学习是人工智能领域研究的核心问题。本文首先介绍了人工神经网络和深度学习的背景与研究现状。其次对深度学习经典算法进行了理论上的简单介绍，并提出了一些自己的看法。最后对深度学习的发展趋势进行了展望。【关键词】 神经网络 机器学习 深度学习 算法 一、背景介绍 1.1 什么是人工神经网络 人工神经网络（ANN），是从上个世纪 80年代兴起的人工智能领域研究热点。它是人脑神经元网络在信息处理角度的抽象，按不同的连接方式组成不同的网络并建立相关的简单模型。ANN本质上是一种运算模型，由大量的神经元节点相互连接构成。每个节点可以当做是一个神经元，节点中包含激励函数，根据其输入判断其输出。相邻层的节点之间两两相连，其关系称之为权重，相当于人体大脑的记忆过程。网络的输出即为运算结果，可能是回归结果也可能是分类结果（概率值）。总体而言，人工神经网络通常是对某种算法或者函数的逼近，也可以是对某种逻辑策略的表达。 1.2 人工神经网络背景介绍 1、启蒙时期。美国著名心理学家 W.James于 1890年开启关于人脑结构与功能的研究，结束于 1969年《感知器》一书的发表，其作者为著名学者 Minsky和Papert。2、低潮时期。开始于 1969年，著名学者 Minsky发表文章指出单层系统的局限性，而且并不看好多层系统，于是不可避免的在上世纪 70年代对 ANN的研究开始减少，转而继续研究逻辑系统与符号网络。这一情况直到 1982年因为学者 Hopfield发表的《神经网络和物理系统》才好转。3、复兴时期。开始于《神经网络和物理系统》的发表，由 Hopfield于 1982年发表，结束于 80年代末。4、第一次浪潮。开始于上世纪80年代末，因为“深度学习之父”Hinton提出的 BP反向传播算法解决了浅层网络的参数更新问题，由此开始，进入了机器学习研究的春天。5、第二次浪潮。依旧由 Hinton引领，其于 2006年在《Science》杂志上发表了《Deep Learning》一文，由此，进入深度学习研究的春天。 1.3 什么是深度学习 深度学习本质上是一种新兴的机器学习算法，其基本模型框架是基于 ANN的，如含有多隐层的感知器。其可以通过对数据的底层特征进行学习从而得到更加抽象的隐藏特征，从而特到数据的分布式规律，进而预测或分类数据。 深度学习是一种学习数据表征的算法，它可以从无规律、抽象的观测值即输入值中学习到数据的隐藏特征，比如 CNN算法通过输入的图片像素点 RGB值可以学习到图片的内部特征，例如图片中的实体、数字等。深度学习的好处是其用高效的特征提取算法替代了原始的手工获取特征的手段。 1.4深度学习背景介绍 深度学习概念由 Hinton于 2006年在《Science》上发表的论文《Deep Learning》提出。在本文中，他提到：1、在ANN中，感知器的隐层数量越多，对于数据隐藏特征的学习能力就越强，而且学习到的特征会更好的帮助我们理解数据，从而能够更好的对数据进行可视化或分类；2、由于 ANN层数越多，参数就会以几何倍数的增加，因此 ANN的层数会加大我们对整个网络的训练效率，由此 Hinton提出了基于无监督学习的“逐层初始化”来有效克服该难题。在深度学习领域中，最先出现的算法是 Hinton提出的限制玻尔兹曼机（RBM）以及基于此提出的深度置信网络 (DBN)，这两种算法为解决复杂的优化难题提供了思路，为解决多层复杂网络带来了希望。之后提出的自动编码器算法也风靡一时。此外Hinton的得意弟子 Lecun等人提出的卷积神经网络（CNN）真正将深度学习研究领上了高潮，其本质上是用来解决图片或视频中的实体识别等难题的，它利用图片 2维或 3维空间特性有效的减少了网络的训练参数。 二、国内外研究现状 2.1 人工神经网络现状 通过查阅相关文献可知现阶段对于 ANN的研究大致上分为理论和应用两方面。 ANN理论研究：1、生物神经学比如认知神经学在人类及动物认知、推理方面的研究；2、基于生物神经学的相关知识，利用数理研究方法、统计学习方法，探索并构建更加合理有效、性能更加优越的 ANN模型以及相关的算法，使其在收敛性、稳定性、鲁棒性、容错性等方面有所提高。 ANN应用研究：1、基于 ANN的软件模型的仿真，基于 ANN的硬件系统的构架等；2、目前，ANN的主要应用研究领域包括：知识工程、模式识别、优化组合、机器人控制、信号处理、专家系统等。我们有理由相信，随着数理统计理论与神经网络相关理论的不断发