结合SS-GAN和BERT的文本分类模型.pdfVIP

第33卷摇第2期计算机技术与发展Vol.33摇No.2

2023年2月摇摇摇摇摇摇摇摇摇摇COMPUTERTECHNOLOGYANDDEVELOPMENT摇摇摇摇摇摇摇摇摇摇Feb.摇2023

结合SS-GAN和BERT的文本分类模型

宛艳萍,闫思聪,于海阔,许敏聪

(河北工业大学人工智能与数据科学学院,天津300401)

摘摇要:BERT是近年来提出的一种大型的预训练语言模型,在文本分类任务中表现优异,但原始BERT模型需要大量标

注数据来进行微调训练,且参数规模大、时间复杂度高。在许多真实场景中,大量的标注数据是不易获取的,而且模型参

数规模过大不利于在真实场景的实际应用。为了解决这一问题,提出了一种基于半监督生成对抗网络的BERT改进模型

GT-BERT。采用知识蒸馏的压缩方法将BERT模型进行压缩;引入半监督生成对抗网络的框架对BERT模型进行微调并

选择最优生成器与判别器配置。在半监督生成对抗网络的框架下增加无标签数据集对模型进行微调,弥补了标注数据较

少的缺点。在多个数据集上的实验结果表明,改进模型GT-BERT在文本分类任务中性能优异,可以有效利用原始模型不

能使用的无标签数据,大大降低了模型对标注数据的需求,并且具有较低的模型参数规模与时间复杂度。

关键词:文本分类;半监督;BERT;生成对抗网络;模型压缩

中图分类号:TP391.1摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2023)02-0187-08

doi:10.3969/j.issn.1673-629X.2023.02.028

ATextClassificationModelBasedonSemi-supervisedGenerative

AdversarialNetworksandBERT

WANYan-ping,YANSi-cong,YUHai-kuo,XUMin-cong

(SchoolofArtificialIntelligenceandDataScience,HebeiUniversityofTechnology,Tianjin300401,China)

Abstract:BERTisalarge-scalepre-traininglanguagemodelproposedinrecentyears,whichperformswellintextclassificationtasks.

However,theoriginalBERTmodelrequiresalargeamountoflabeleddataforfine-tuningtrainingwithlargeparameterscaleandhigh

timecomplexity.Inmanyrealscenarios,alargeamountoflabeleddataisnoteasytoobtain,andthelargescaleofmodelparametersis

notconducivetopracticalapplicationinrealscenarios.Tosolvethisproblem,animprovedBERTmodelGT-BERTbasedonsemi-su鄄

pervisedgenerativeadversarialnetworkisproposed.TheBERTmodeliscompressedbythecompressionmethodofknowledge

distillation,andtheframeworkofsemi-supervis