基于大型语言模型微调技术的反诈骗信息识别方法研究.pdfVIP

彭成智，谢园园，吕光旭信息反诈

基于大型语言模型微调技术的反诈骗信息识别方法研究InformationAntiFraud

基于大型语言模型微调技术的

反诈骗信息识别方法研究

StudyonAnti-fraudInformationIdentificationMethodBasedon

Fine-tuningTechniquesofLargeLanguageModels

彭成智，谢园园，吕光旭（中讯邮电咨询设计院有限公司，北京100048）

PengChengzhi，XieYuanyuan，LüGuangxu（ChinaInformationTechnologyDesigningConsultingInstituteCo.，Ltd.，Beijing100048，

China）

摘要：关键词：

针对反诈骗信息识别，对大型语言模型（LLMs）的微调技术进行了深入的实验大型语言模型；微调技术；反诈骗信息识别；

研究。选取了3种不同规模的LLMs基础模型，并采用了LoRA和p-tuningv2LoRA；p-tuningv2；少样本学习

2种先进的微调技术，以适应特定的反诈骗信息识别任务。通过多个维度的实doi：10.12045/j.issn.1007-3043.2024.08.011

验评估，微调策略不仅能够显著提升模型在反诈骗信息识别上的性能，还能够文章编号：1007-3043（2024）08-0053-05

在一定程度上保持模型的通用性。此外，探讨了LLMs在少样本情况下的学习中图分类号：TP391

能力，并分析了不同微调策略下的资源消耗情况。文献标识码：A

开放科学（资源服务）标识码（OSID）：

Abstract：

Aimingattheanti-fraudinformationidentification，itconductesin-depthexperimentalresearchonfine-tuningtechniquesof

largelanguagemodels（LLMs）.ItselectesthreeLLMsbasemodelsofdifferentscalesandemployestwoadvancedfine-

tuningtechnologies，LoRAandp-tuningv2，toadapttospecificanti-fraudinformationidentificationtasks.Through

experimentalevaluationsacrossmultipledimensions，fine-tuningstrategiesnotonlysignificantlyenhancesthemodels

performanceinanti-fraudinformationidentification，butalsomaintainstheuniversalityofthemodeltoacertainextent.

Additionally，itexploresthelearningcapabilitiesofLLMsunderlow-sampleconditionsandanalyzestheresourceconsumption

underdifferentfine-tuningstrategies.

Keywords：

LLMs；Fine-tuningtechniques；Anti-fraudinformationidentification；LoRA；p-tuningv2；Few-shotlearning

引用格式：彭成智，谢园园，吕光旭.基于大型语言模型微调技术的反诈骗信息识别方法研究［J］.邮电设计技术，2024（8）：53-57.

调成为适应特定任务的有效策略。本研究评估了

0前言