基于深度学习的多模态情感分类算法研究.pdf

摘要

随着社会的不断进步、网络的迅速普及和社交媒体的爆炸式发展，人们可以在社交

媒体上通过声音、面部表情以及文本信息等多种方式来表达自己的情感或者突出某些观

点，由此产生了大量的多模态数据。这些多模态数据蕴含着丰富的情感信息，对其进行

深度挖掘，有助于产品优化、舆情监测、风险管理等应用的研究，在电商的推荐系统、

政府的舆情监控以及人工智能的人机交互等非常多的领域都有广泛的应用，多模态情感

分类也由此成为情感分类任务的重要研究问题之一。本文围绕多模态情感分类展开研究，

主要工作包括以下三点：

（1）针对微博场景中不同模态间存在异质性和融合不充分的问题，本文提出基于

预训练和双仿射注意力机制的图文多模态情感分类算法。引入CLIP预训练模型同时对

图像和文本进行特征提取，减少了模态间的异质性；使用双向门控循环网络对语义信息

编码，采用双仿射注意力机制进行双模态特征融合，使不同模态数据充分交互，提升了

融合效果，进而使情感分类更加准确。

（2）针对对话场景中多模态融合只考虑语音模态和文本模态间的信息补充，未考

虑每个模态内部的语义关联的问题，本文提出基于多头注意力和LSTM的语音文本多模

态情感分类算法。通过改进Transformer网络中的多头注意力模块，对模态的内部特征

进行建模，以捕捉丰富的模态内部与情感有关的语义信息和潜在关联知识；利用跨模态

注意力机制学习两个模态之间的关联性，充分考虑模态内部和模态间的特征关联，再借

助双向长短期记忆网络捕捉序列元素的长距离依赖关系，提高了情感分类的准确率。

（3）针对视频场景中不同模态的数据信息在情感分类时具有不同的重要性的问题，

本文提出一种基于语义关联的多模态情感分类算法。首先对每个模态单独建模捕捉模态

内部信息，然后利用改进的自注意力机制对文本-音频、文本-视频进行双模态融合，再

使用跨模态注意力融合对两两融合的结果进行再次融合，实现情感分类。通过对比实验

验证了在所有模态中，文本对情感分类结果影响最大，从而确立文本模态在情感分析任

务中的核心地位，进一步提高了情感分类的准确率。

关键词：情感分类；多模态；文本；音频；图像

Abstract

Withthecontinuousprogressofthesociety,therapidpopularityoftheInternetandthe

explosivedevelopmentofsocialmedia,peoplecanexpresstheiremotionsorhighlightcertain

viewsthroughvariouswayssuchasvoice,facialexpressionandtextinformationonsocial

media,resultinginalargenumberofmulti-modaldata.Thesemulti-modaldatacontainrich

emotionalinformation,andin-depthminingofthemisconducivetotheapplicationresearchof

productoptimization,publicopinionmonitoring,riskmanagement,etc.Ithasbeenwidelyused

inmanyfieldssuchase-commercerecommendationsystem,governmentpublicopinion

monitoring,human-computerinteractionofartificialintelligence,etc.Therefore,multimodal

emotionclassificationhasbecomeoneoftheimportantresearchproblemsinemotion

classificationtask.Thispaperfocusesontheresearchofmultimodalemotionclassificat