深度学习案例教程 教案1.3 深度学习的发展.docx

1-03深度学习的发展

（p13）接下来我们来学习深度学习的发展，

深度学习的发展一共分为五个阶段。

首先第一阶段。20世纪50年代到70年代初，人工智能发展处于推理期，这一时期机器学习只能称为感知，也就是刚刚进入市场。即认为只要给机器赋予逻辑推理能力，机器便具有了智能。在该时期，人们在深度学习中重要成就如下：

1958年罗森布拉特发明的感知算法可对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。

1962年，该方法被证明为能够收敛，它的理论与实践效果引发了第一次神经网络的浪潮；

1969年，美国数学家及AI先驱-明斯基在著作中证明感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR问题都无法正确分类。这等于直接宣判了感知器的死弄，神经网络的研究也陷入了近20年的停滞。

第二个阶段是20世纪70年代中期，人工智能进入了知识期。在这一时期，人们将关于世界的知识用形式化的语言进行编码，使计算机能够使用逻辑推理来自动理解这些关于世界的知识。

第三个阶段在20世纪90年代。加拿大多伦多大学的教授，发明了适用于多层感知机的人工神经网络算法叫做反向传播算法也就是BP算法。它有效的解决了神经网络在处理非线性分类和学习中的瓶颈，引起了神经网络的热潮。主要是通过BP算法让人工神经网络从训练中得到规律模型，从而对未知事件进行预测和理解。这就是学习期。

这一时期，主要的研究内容有：

1989年，纽约大学教授杨立昆发明了CNN–LeNet网络，并将其用于数字识别，且取得了较好的成绩，不过当时并没有引起足够的注意。

1989年以后由于没有提出特别突出的方法，且神经网络一直缺少相应的严格数学理论支持，神经网络的热潮渐渐冷淡下去。冰点发生在1991年，BP算法被指出存在梯度消失问题，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0。

1997年，LSTM模型被发明，尽管该模型在序列建模上表现出的特性非常突出，但由于处于神经网络的下坡期，也没有引起足够的重视。

第四个阶段，快速发展期。在2006年，hinton教授和他的学生在科学上发表了一篇有关人工神经网络论文，提出了无监督贪心逐层训练的算法，其主要思想是先通过自学习的方法学习到训练数据的结构，然后在该结构上进行有监督训练微调。由此，深度学习进入到了发展期。在这一时期，还有比较重要的成就有，2011年，ReLU激活函数被提出，有效抑制梯度消失的问题。2011年，微软首次将深度学习应用在语音识别上，取得了重大突破。

然后在2012年的时候。基于CNN网络架构的，Alexnet在imagenet图像识别上，获得重要进展，推送深度学习进入到了第五个阶段，爆发期。

从目前的研究进展来看，只要数据量足够大，隐藏层足够深，即便没有预训练，深度学习也可以取得较好的结果，这也体现出大数据和深度学习的相辅相成。

（p14）总结一下，深度学的发展分为刚才的这五个阶段，推理期、知识期、学习期、快速发展期和爆发期。

那他们分别有什么特点呢？在推理期，只要给机器赋予相关逻辑能力，机器便具有了智能。在知识期，人们将一些知识用形式化的语言进行编码，使得计算机通过逻辑推理来理解知识。在学习期，通过BP算法有效的解决了神经网络在处理非线性分类和学习中的瓶颈。在快速发展期，模型通过大量数据来进行自身的学习，在结构上进行有监督的训练微调。最后是爆发期，爆发期的特点就是通过大数据量，深层的网络来进行模型的训练。

这就是我们深度学习各个阶段的。好，我们本节课的学习就到这里。