具有多头特征掩码的支持向量网络.pdf

摘要

摘要

支持向量机是机器学习领域中最常用、最有效的分类算法之一，尤其在小

规模数据集上表现突出。然而，它在数据表达和大规模数据处理上存在局限性。

深度学习以其强大的数据表示和抽象能力、出色的数据处理效率等优势，成为

了各个机器学习领域的主流。为了克服浅层支持向量机所面临的局限性，深度

支持向量机被提出，它结合了深度学习的多项优势，通过反向传播来统一更新模

型参数。然而，深度支持向量机与其他深度学习方法一样，模型可解释性较差，

且不具备特征选择功能。特征选择是一种从原始特征集中挑选出最具代表性和

相关性的特征子集的方法，能够实现与特征选择前相近的任务效果。在深度学

习方法中引入特征选择功能是提升模型可解释性的一种有效手段。因此，涌现

了大量关于深度特征选择方法的研究。然而，目前深度特征选择方法的终端分

类器大多使用的是交叉熵损失函数，分类器的选择有限。

一方面，为了避免深度支持向量机主干部分——深度神经网络导致的模型

可解释性弱的问题。另一方面，用深度支持向量机的分类超平面替代原来的交叉

熵损失作为新的终端分类器，为现有深度特征选择方法的终端分类器选择提供

一种新的策略。一种新颖的具有特征选择功能的深度支持向量网络被提出，称为

具有多头特征掩码模块的深度支持向量网络（DeepSupportVectorNetworkswith

Multi-headFeatureMask，MFM-DSVN）。它是一种端到端的深度学习方法，为具

有特征选择功能的深度支持向量机提供了一个通用框架。与传统的机器学习方

法不同，这种方法消除了多个手动特征工程步骤，使模型能够直接从原始数据

中学习和提取特征。它可以为输入特征分配相应的重要性，无需领域专家手动

设计特征，大大简化了建模过程。该模型的核心是多头特征掩码模块。受多头注

意力机制的启发，本文改进了原有的特征掩码模块，采用多头结构来增强模型

在特征提取方面的性能。这一方法的主要贡献包括：

（1）提出了多头特征掩码模块。实验结果表明，与单头的特征掩码模块相比，

多头特征掩码模块可以在相对较少的网络参数和层数上获得更好的特征提取效

I

摘要

果从而达到更好的特征选择能力。进一步改进深度支持向量机，将多头特征掩

码模块应用到深度支持向量机上。实现特征选择功能，提升模型的可解释性。

（2）考虑终端分类器的优化和改进。利用深度支持向量机的分类超平面而

非原来的交叉熵损失，为终端分类器的选择提供了一种新的策略。同时，提升模

型预测效果，使得模型更具有可解释性。

（3）引入了特征选择稳定性，作为评估特征选择方法稳定性的关键指标。

最后，本文做了三方面的对比实验。首先，将本文提出的方法与浅层支持

向量机、深度支持向量机以及终端分类器改进前的方法MultiheadFeatureMask

NeuralNet(MFM-NN)进行比较。结果表明MFM-DSVN在14个数据集当中的

10个有着更高的分类精度，并且在TOX-17数据集上,相比分类精度排在第二的

MFM-NN要高出3.5%。凸显了特征选择与深度支持向量机作为终端分类器的优

势。其次，还将MFM-DSVN与LassoNet、Cancelout等其他5种最为先进的深

度特征选择方法进行了比较，实验结果表明MFM-DSVN在13个数据集中的11

个有着更高的分类准确率，并且在Madelon数据集上的分类准确率相比排第二

的MFM-NN高出7%。最后,本文将提出的方法与MFM-NN、FM-NN在MNIST、

USPS等12个数据集上进行特征选择稳定性的比较，结果显示在12个数据集上

的10个取得了更高的特征选择稳定性度量值。

关键字：深度学习；深度支持向量网络；多头注意力机制；特征选择

II

Abstract

DeepSupportVectorNetworkwithMulti-head

FeatureMask