增强提示学习的少样本文本分类方法 .pdfVIP

北京大学学报(自然科学版)第60卷第1期2024年1月

ActaScientiarumNaturaliumUniversitatisPekinensis,Vol.60,No.1(Jan.2024)

doi:10.13209/j.0479-8023.2023.071

增强提示学习的少样本文本分类方法

李睿凡1,2,3,†魏志宇1范元涛1叶书勤1张光卫2,4

1.北京邮电大学人工智能学院,北京100876;2.教育部信息网络工程研究中心,北京100876;3.交互技术与体验系统

文化和旅游部重点实验室,北京100876;4.北京邮电大学计算机学院,北京100876;†E-mail:*************.cn

摘要针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成

基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两

种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语

言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实

验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

关键词预训练语言模型;少样本学习;文本分类;提示学习;三元组损失

EnhancedPromptLearningforFew-shotTextClassificationMethod

1,2,3,†1112,4

LIRuifan,WEIZhiyu,FANYuantao,YEShuqin,ZHANGGuangwei

CenterofInformationNetworks,MinistryofEducation,Beijing100876;3.KeyLaboratoryofInteractiveTechnology

andExperienceSystem,MinistryofCultureandTourism,Beijing100876;4.SchoolofComputerScience,

BeijingUniversityofPostsandTelecommunications,Beijing100876;†E-mail:*************.cn

AbstractAnenhancedpromptlearningmethod(EPL4FTC)forfew-shottextclassificationtaskisproposed.This

proposedEPL4FTCissignificantlybetterthantheothercomparedbaselines.

Keywordspre-trainedlanguagemodel;few-shotlearning;textclassification;promptlearning;tripletloss

[1][2]

文本分类是自然语言处理领域的热点研究内物的能力,Wang等提出少样本学习的概念。少样

容之一,已经在多个场景得到充分的发展。例如,本学习的核心目标是面对新的领域任务,利用先验

在情感分析、新闻推荐和用户画像等场景中,通常知识,仅通过有限的训练样本,快速且准确地完成

可以获取海量的未标注数据,因而需要大量的人工对新领域任务的学习。

标注