机器学习研究进展：深度学习及应用.ppt

机器人的学习研究进展：深度学习及应用;内 容 ;1.深度学习概述;1.深度学习概述;1.1 概述;1.1 概述;1.1 概述;1.1 概述;1.1 概述;1.1 概述;1.1 概述;1.1 概述;1.2 背景;1.2 背景;1.2 背景;1.2 背景;1.2 背景;1.2 背景;1.2 背景;1.2 背景;1.3 人脑视觉机理;1.3 人脑视觉机理;1.3 人脑视觉机理;1.3 人脑视觉机理;1.3 人脑视觉机理;1.3 人脑视觉机理;1.4 关于特征;1.4 关于特征;1.4.1 特征表示的粒度;1.4.1 特征表示的粒度;1.4.2 初级（浅层）特征表示;1.4.2 初级（浅层）特征表示;1.4.2 初级（浅层）特征表示;1.4.2 初级（浅层）特征表示;1.4.2 初级（浅层）特征表示;1.4.3 结构性特征表示;1.4.3 结构性特征表示;1.4.3 结构性特征表示;1.4.3 结构性特征表示;1.4.4 需要有多少个特征;小 结;1.5 深度学习的基本思想;1.5 深度学习的基本思想;1.6 浅层学习和深度学习;1.6.1 浅层学习：机器学习第一次浪潮;1.6.1 浅层学习：机器学习第一次浪潮;1.6.2 深度学习：机器学习第二次浪潮;当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。 深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）;1.6.2 深度学习：机器学习第二次浪潮;深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。 区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。;1.7 Deep learning与Neural Network;Deep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。大约二三十年前，neural network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面： 1）比较容易过拟合，参数比较难调整，而且需要不少窍门； 2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；;所以中间有大约20多年的时间，神经网络被关注很少，这段时间基本上是SVM和boosting算法的天下。 但是，一个痴心的老先生Hinton，他坚持了下来，并最终（和其它人一起Bengio、Yann.lecun等）提成了一个实际可行的deep learning框架。;Deep learning与传统的神经网络之间有相同的地方也有很多不同。 相同点：deep learning采用了神经网络相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个逻辑回归模型；这种分层结构，是比较接近人类大脑的结构的。;1.7 Deep learning与Neural Network;而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。 传统神经网络中，采用的是反向传播（BP）的方式进行。即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算的输出值和实际的标记值之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。 deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。这个问题在后面有所讨论。;1.8 Deep learning训练过程;1.8.1 传统神经网络的训练方法为什么不能用在深度神经网络;BP算法存在的问题： （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小； （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）； （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签