大模型原理与技术-课件 chap3 自然语言处理.pptx

自然语言处理;

目录;

自然语言处理概述;

o自然语言理解

;;;

o自然语言处理概述

o词嵌入

l独热向量

lword2vec

l跳元模型

l连续词袋模型

o循环神经网络（RNN）

o长短期记忆网络（LSTM）

o门控循环单元（GRU）;

词嵌入——独热向量(One-hotEncoding);

词嵌入——word2vec;

词嵌入——跳元模型;

词嵌入——连续词袋模型;

词嵌入——连续词袋模型举例;

词嵌入——连续词袋模型举例;

目录;?;

循环神经网络——训练;

循环神经网络——梯度问题;

循环神经网络——梯度问题的缓解;

循环神经网络——双向RNN;

20;

长短期记忆网络(LSTM);

长短期记忆网络(LSTM);

长短期记忆网络(LSTM);

长短期记忆网络(LSTM);

目录;

门控循环单元（GRU）;

门控循环单元（GRU）;

门控循环单元（GRU）;