人民大2024《人工智能与Python程序设计》课件（教材配套版）第14章-自然语言处理实践-2循环神经网络的原理和实现.pdf

《人工智能与Python程序设计》——循环神经网络的原理和实现

人工智能与Python程序设计教研组

如何使用神经网络处理自然语言文档？

•自然语言是一个由字或词等符号（token）组成的序列

–长度可变

–顺序会对自然语言的语义产生影响

–词语之间具有依赖关系

•自然语言处理要求我们使用能对序列进行建模的神经网络模型

回顾：基于循环神经网络的语言模型

•基于循环神经网络的语言模型（RecurrentNeuralNetworks，RNN）

–RNN语言模型分析

–优点

•可以处理任意长度的输入

•当前时间的计算可以利用之前的信息

•模型大小并不随输入的长度变化

•在这节课中我们将介绍如何使用PyTorch搭建一个循环神经网络

循环神经网络

•循环神经网络的结构

–具有一组隐状态（hiddenstate）向量：ℎ

–隐状态向量ℎ由当前输入和前一个隐状态向量决定ℎ

−1

–在给定一个输入序列=(,,…,…)，“循环的”更新ℎ

12

ℎ=ቊ0if=0

ℎ,otherwise

−1

循环神经网络建模文本数据

•基本思路

thestudentsopenedtheir

–逐步给定输入，每个步骤得到一个表示（称为隐含表示）

–当前时刻的表示基于当前输入和前一时刻表示计算得来

−1

循环神经网络建模文本数据

•基本思路

1234

thestudentsopenedtheir

1

1

RNN

函数定义：

,=++

•(,)→01ℎ01

011

第1个时刻的表示：编码了第1个时刻为止的所有信息

循环神经网络建模文本数据

•基本思路

1234

thestudentsopenedtheir

1