机器学习综述.docVIP

机器学习综述 摘要：为了对高层次结构的抽象的表示，需要有能够对深层结构学习的模型。深层结构是由非线性的多层次组成，如神经网络有许多隐藏的层。深层结构的参数优化是一项困难的任务，例如最近提出的深信念网络（DBN）学习算法很好解决了该问题并取得了一定的成功。深度学习是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。 关键词：神经网络，无监督，深度学习，AI 1 引言 机器学习的核心是学习。机器学习的研究主旨是使用计算机模拟人类的学习活动,它是研究计算机识别现有知识、 获取新知识、 不断改善性能和实现自身完善的方法。机器学习研究的就是如何使机器通过识别和利用现有知识来获取新知识和新技能。它是人工智能的一个重要的研究领域。这里的学习意味着从数据中学习, 它包括有监督学习( Supervised Learning )、无监督学习 ( Unsupervised Learning) 和半监督学习( Semi- Supervised Learning )三种类别。 目前在机器学习研究领域影响较大的是H. Simon 的观点:学习是系统中的任何改进,这种改进使得系统在重复同样的工作或进行类似的工作时,能完成得更好。学习的基本模型就是基于这一观点建立起来的。 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。 深度学习中的主要困难，特别是在模式分类运用中，在数据的维数中学习的复杂性呈指数的线性增长。主流的方法是克服“维数灾难”，通过使用预处理数据的方式，这样能够降维以至于更够有效的处理。降维指的是特征提取，结果可以说是在多模式识别系统智能中转换了特征提取过程中的人类工程，非常具有挑战性并且高度依赖于相关的应用。此外，如果提取了不完全或错误的特征，分类过程本质上表示非常有限。 2 浅层学习和深层学习 2.1 浅层学习 20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perception），但实际是只含有一层隐层节点的浅层模型。但是BP算法存在一些问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的数据中学习； 20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。 2.2 深层学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：（1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；（2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，