基于双模态动态融合的讽刺检测方法研究与应用.pdf

摘要

人们经常在社交媒体上表达自己的观点，其中包含很多具有讽刺意义的评论和观

点，这些评论和观点所要表达的含义与表面上的相反，所以高效率识别含有讽刺意义

的评论和观点显得尤为重要。现有的双模态讽刺检测模型中依然存在模态特征融合困

难、对结果分类预测准确率低和融合效率低等多种问题，如何将图文融合仍然是现在

的研究热点。

现设计一个基于双模态动态融合的讽刺检测方法，解决部分图文融合和讽刺检测

的相关问题。本文的主要工作和贡献如下：

（1）针对现有图像特征提取模型讽刺检测效率差和讽刺特征提取不明显等问题，

本文提出一种改进残差网络-50（ResidualNetwork50,ResNet50）模型用以提取图片特

征向量。在浅层和深层都加入一个卷积，使其通道数减少为原来的一半，实现了特征

维度的减少和参数的减少，并且实现了将浅层的特征映射到深层特征上。实验表明，

改进的残差网络-50在讽刺检测中具有更好的性能。

（2）针对现有文本特征提取模型准确率低的问题，本文提出了一种增强文本讽刺

特征表示的模型，在注意力机制中加入了新的上下文感知矩阵和训练参数，在计算过

程中增加了注意力权重分布和矩阵权重表示空间的多样性。本文模型可以更好地提取

隐晦表达的讽刺文本特征，当讽刺信息语义特征差异较小时，可以挖掘存在语句中的

隐含的讽刺信息。与现有的具有代表性的经典文本分类方法相比，本文方法有更高的

准确率。

（3）针对现有的图文双模态融合模型融合效率低、融合效果差和准确率低等问题，

本文提出了一个基于文本长度的动态权重融合的讽刺分类方法，在特征向量进行融合

相加时，引入动态权重概念。当文本过长时，文本包含的信息价值会远远大于图像的

信息价值，此时文本特征的权重系数会远远大于图片的权重系数。消融实验证明，本

文提出的基于动态权重的讽刺检测会有更高的准确率。

（4）结合本文的基于双模态动态融合的讽刺检测方法，设计并开发了基于微信小

程序的讽刺检测系统，可以对图像文本内容进行迅速讽刺检测。经过测试，系统具有

很高的稳定性。

本文的研究结果从图文动态融合的角度出发，为社交网络的讽刺言论检测提供了

新的解决方案，并且设计开发了讽刺检测系统，实验结果准确率高，系统稳定性强。

关键词：双模态动态融合，讽刺检测，感知矩阵，注意力机制，动态权重

ABSTRACT

Peopleoftenexpresstheiropinionsonsocialmedia,whichcontainsmanysatiricalcommentsand

viewpoints.Thesecommentsandviewpointsexpresstheoppositemeaningfromthesurface,soitis

particularlyimportanttoefficientlyidentifysatiricalcommentsandviewpoints.Therearestillvarious

problemsintheexistingbimodalsatiredetectionmodels,suchasdifficultyinmodalfeaturefusion,low

accuracyinclassifyingandpredictingresults,andunreasonablealgorithmdesign.Howtofuseimagesand

textremainsacurrentresearchhotspot.

Wearenowdesigningasatiricaldetectionmethodbasedonbimodaldynamicfusiontobettersolvethe

relatedproblemsofsatiricaldetection.Themainworkandcontributionsofthisarticleareasfollows:

(1)In