深度学习案例教程 教案1.2 深度学习定义及分类.docx

1-02深度学习定义及分类

（p8）同学们大家好，接下来我们来学习第二节，深度学习的定义以及分类。

首先深度学习是什么呢？深度学习是高度数据依赖型的算法，它的性能通常随着数据量的增加而不断增强，它的扩展性也优于传统的机器学习算法。

但如果训练的数量较少，深度学习的性能不一定比机器学习好。原因在于作为复杂系统代表的深度学习算法，只有数据量足够多，才能进行训练。

（p9）深度学习从神经网络结构和技术应用上可以分为三类。

首先第一类，是生成型深度结构。第二类是判别型深度结构。第三类是混合型深度结构。

那什么是生成型深度结构呢？它主要是在模式分析过程中描述观测数据的高阶相关特征，或者描述观测数据与其相关类别的联合概率分布。这样方便了先验概率和后验概率的估计。通常使用无监督学习处理该结构的学习。属于生成型深度结构的深度学习模型有：自编码器、受限玻尔兹曼机、深度置信网络等。

那什么是判别型深度结构呢？判别型深度结构主要提供了对模式的区分能力，通常描述数据的后验分布。属于判别型深度结构的深度学习模型主要有卷积神经网络和深凸网络等。

第三种是混合型深度结构，它的目的呢，是对数据类型进行判别、分类，该学习过程包含两个部分：生成部分和区分部分。在应用生成型深度结构解决分类问题时，因为现有的生成型结构大多数都是用于对数据的判别，可以结合判别型模型在预训练阶段对网络的所有权值进行优化，例如通过深度置信网络进行预训练后的深度神经网络。

(p10)尽管上述深度学习架构的分类比较复杂，其实实际中对应的模型的例子就是深度前馈网络，卷积神经网络和递归神经网络.

下面我们简单介绍一下这三种神经网络。

第一种，深度前馈网络，也被称为前馈神经网络或多层感知器，是深度学习领域中最基本和最经典的模型之一。它是一种具有多个隐藏层的前馈神经网络模型，通过多层非线性变换来学习数据的表示和特征，从而实现各种机器学习任务。

在深度前馈网络中，信息从输入层流向输出层，每一层都通过一系列的权重和偏置来对输入进行线性组合和非线性变换。这些层之间的连接是前向的，即信息只能从前一层传递到后一层，没有反馈连接。这种结构使得深度前馈网络成为一种有向无环图，并且可以通过简单的前向传播算法计算输出。

（p11）第二种是卷积神经网络，在深度学习中，卷积神经网络是一类深度神经网络，最常用于分析视觉图像。卷积神经网络使用多层感知器的变体设计，需要最少的预处理。它们也被称为移位不变或空间不变人工神经网络，基于它们的共享权重架构和平移不变性特征。

卷积神经网络的基本模块是由输入和输出层以及多个隐藏层组成，隐藏层可分为卷积层，池化层、激活层和全连接层。与其他图像分类算法相比，卷积神经网络使用相对较少的预处理。这意味着网络学习传统算法中手工设计的过滤器。这种独立于特征设计中的先前知识和人力的努力是一个主要优点。它们可用于图像和视频识别，推荐系统，图像分类，医学图像分析和自然语言处理。

（p12）第三种是递归神经网络，递归神经网络（RNN）是一个特殊的神经网络系列，旨在处理序列数据，例如一系列的文本或者股票市场的波动。现实问题中存在着很多序列型的数据，例如文本、语音以及视频等。这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。递归神经网络具有一定的记忆功能，这种网络与序列和列表密切相关，可以被用来解决很多问题，例如：语音识别、语言模型、机器翻译等。递归神经网络与前馈神经网络比较，后者并不能处理好这种关联性，因为它没有记忆能力，所以前面时刻的输出不能传递到后面的时刻。

综述，递归神经网络的本质是一个用于处理和预测序列数据的神经网络模型，神经元在前面某一时刻的输出可以作为输入来帮助获得当前时刻的输出，这一点与传统的前馈神经网络不同。

（总结）深度学习是高度数据依赖型的算法。它的性能通常伴随着数据量的增加而不断增强。它的扩展性还有延伸性，优于机器学习算法，但是如果训练的数据量比较少，深度学习的性能可能会比机器学习算法还会差一些。这也是深度学习的一个特点。

本节课就学到这里。