第七、八周：第十章循环神经网络.pdf

DeepLearning

循环神经网络

Johnson

导师：

循环神经网络

RecurrentNeuralNetwork

主要内容

contents

表现方式

简单循环网络

反向传播

双向循环网络

循环网络常用结构深度循环网络

递归神经网络

循环神经网络梯度消失

长期依赖问题

梯度爆炸

LSTM

门控制循环网络

GRU

长期依赖优化

权值共享

SharedWeight

循环神经网络就是为了学习卷积神经网络中权值共享等思路，来处理序列化数据，

这就造成了他们有很多类似的地方。

卷积神经网络vs.循环神经网络

CNNvs.RNN

输入的区别：

循环神经网络是一类用于处理序列数据的神经网络

卷积神经网络是一类用于处理网格化数据（如一个图像）的神经网络

卷积神经网络vs.循环神经网络

CNNvs.RNN

数据的输入对比：

循环网络可以扩展到更长的序列。大多数循环网络也能处理可变长度的序列

卷积网络可以很容易地扩展到具有很大宽度和高度的图像，以及处理大小可变的图像

RNN基本表达方式-循环图

RNNpresentation

循环图和展开图都有其用途

循环图简洁

展开图能够明确描述其中的

计算流程

展开图还通过显式的信息流

动路径帮助说明信息在时间

上向前（计算输出和损失）(左)循环图。黑色方块表示单个时间步的延迟。

和向后（计算梯度）的思想(右)展开计算图。其中每个节点现在与一个特定的时间实例相关联。

RNN基本训练方式

RNNBasicTrainingMode

1.最简单的RNN

2.前向传播

3.反向延时传播(Bptt,BackPropagationThroughTime)

最简单的RNN

SimpleRNN

在左边循环图中，x是神经网络的输入，U是输入

层到隐藏层之间的权重矩阵，W是记忆单元到隐

藏层之间的权重矩阵，V是隐藏层到输出层之间

的权重矩阵，S是隐藏层的输出，同时也是要保存

到记忆单元中，并与下一时刻的一起作为输入，

O是神经网络的输出。

从右边的展开计算图中可以更清楚的看到，RNN

每个时刻隐藏层的输出都会传递给下一时刻，因

此每个时刻的网络都会保留一定的来自之前时刻

的历史信息，并结合当前时刻的网络状态一并再

传给下一时刻。

最简单的RNN

SimpleRNN

循环神经网络中一些重要的设计模式

1、每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络

PS：这是最基础的循环神经网络，作为研究的基线

2、每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络

PS：这是在基线的基础上改变了隐藏单元的链接方式

3、隐藏单元之间存在循环连接，但读取整个序列后产生单个输出的循环网络

PS：这是在基线的基础上改变输出方式

12…