基于预训练与强化学习的混合式文本摘要算法研究.pdf

摘要

随着信息科技的迅猛发展及大量的数据出现，因特网上的数据正以几何级数

的速度增长，信息过载的问题非常严峻。那么，怎样从如此复杂多量的数据库中

提到核心信息是十分关键的，文本摘要技术就变成了学者专家们重点关心的研究

领域。该技术采用计算机自动处理方法，将输入的文字进行压缩、精炼，并在此

基础上输出含有重要信息的文摘，是解决信息过载问题的有效手段。

从近些年的研究来看，文摘技术在自然语言处理领域中取得了显著进展，主

要得益于抽取式方法和生成式方法的发展。然而，以前的研究往往是将这两种方

法分开使用，或者只是简单地将它们结合在一起，在面对长文本时，往往会遇到

长距离依赖和语义不准确的问题。此外，由于数据集复杂性、模型复杂度和软硬

件资源等条件的限制，生成的文本摘要质量往往不高。为了解决这些问题，本论

文深入研究了目前主流的抽取式方法和生成式方法的相关文献，同时积极学习了

大规模预训练模型和强化学习的知识，提出了结合预训练与强化学习算法的抽取

-生成混合式文本摘要模型。最后在公开数据集NLPCC-2017及LCSTS数据集

上进行实验验证，结果表明，本方法在性能上优于一些主流的基线模型。

本文的主要工作包括以下两部分：

（1）基于BART预训练模型的混合式文本摘要算法

本研究针对模型泛化性能差和训练成本高的挑战，采用一种结合改进

TextRank算法与预训练模型微调的策略。首先采用改进的文本排序方法对较大

的文本数据集进行信息压缩，去除与话题无关的多余信息，保留与核心内容紧密

相关的句子，从而构建一个新的、更为精炼的文本数据集。然后利用编码器-解码

器结构的预训练模型BART来深入挖掘处理后文本的语义特征和上下文信息，

在此基础上，将其重新编写成具有较高语义一致性和易读性的短文摘。

（2）融合强化学习的混合式文本摘要算法

在前面BART混合式文本摘要算法的基础上，本部分加入BERTSUM模型

构造二分类器来做关键句抽取模型，利用强化学习Actor-Critic算法连接关键句

抽取模型和BART生成模型，设置强化学习的奖励为最终生成摘要和参考摘要

的ROUGE-1得分，智能体控制抽取模型，负责从文本中精准地抽取关键句子，

为了不断提升摘要的质量，智能体会根据生成的摘要效果进行优化调整。通过这

种方式，能够确保模型最终生成的摘要既准确又精炼，日后满足用户的需求。

本文通过对公开数据集NLPCC-2017与LCSTS中文大样本进行实验，对所

提算法及优化策略的有效性进行实验研究。在对数据集进行详细的描述性统计分

析后，我们设定了改进后的TextRank算法—TMMR算法的压缩的句子数量为总

体数量的百分之六十，将其作为新的数据集输入到BART生成模型中，为了验证

本文算法模型的有效性，我们将其与相关基线模型进行了比较。结果表明，本文

提出的模型在ROUGE得分各项评价指标上均有所提升，效果较好，这一研究为

自动文本摘要生成领域提供了新的研究思路，促进了相关领域的进一步发展。

关键词：文本摘要；预训练模型；BART；强化学习

Abstract

YuhuiSong

MasterofAppliedStatistics

DirectedbyZhiyongZeng

Withtherapiddevelopmentofinformationtechnologyandtheemergenceofa

largeamountofdata,thedataontheInternetisgrowingatageometricrate,andthe

problemofinformationoverloadisveryserious.So,howtomentionthecore

informationfromsuchacomplexandlargeamountofdatabas