文本摘要：Transformers在文本摘要中的应用.pdf

文本摘要：Transformers在文本摘要中的应用

1编码器-解码器模型基础

1.1传统编码器-解码器模型架构

编码器-解码器模型是自然语言处理中用于序列到序列(sequence-to-

sequence)任务的一种常见架构。它由两部分组成：编码器(encoder)和解码器

(decoder)。

1.1.1编码器

编码器负责将输入序列转换为一个固定长度的向量，这个向量被称为上下

文向量(contextvector)。在文本摘要任务中，输入序列通常是一篇文章的单词序

列。编码器可以是循环神经网络(RNN)，如LSTM或GRU，也可以是更复杂的结