基于零样本学习的目标分类方法研究.pdfVIP

基于零样本学习的目标分类方法研究

摘要

在计算机视觉领域，图像分类一贯被认为是一个富有挑战性和重要性的任务。随

着人工智能技术的迅猛发展，图像分类技术已经在多个领域展现出了广泛的应用前景。

然而，传统的监督学习方法在某些情况下也存在局限性，在现实世界中，获取大规模

标记数据集是一项昂贵和耗时的任务，而且有时甚至是不可行的。因此，面对数据稀

缺或新类别出现的情况，传统监督学习方法已经不再适用，基于零样本学习的图像分

类技术应运而生。传统的监督学习方法往往都需要大量已经被标记的数据来训练模型，

然后才能对新的数据进行分类，而零样本学习不需要已经被标记的数据来训练样本，

而是通过利用类别的语义描述或属性信息，使模型能够对以前未见过的类别进行分类。

这在很大程度上扩展了图像分类技术的应用范围，提高了模型对未知类别的泛化能力，

并且减少了对大量标记数据的依赖。本文针对基于零样本学习的目标分类方法展开研

究，主要研究内容如下：

首先，了解了零样本学习问题定义和评价指标等理论基础，对现有零样本学习研

究方法进行了解并分类总结，并通过在几个基准数据集上进行对比试验，分析了现有

方法的优势和劣势，为后续研究打下理论基础

其次，对基于嵌入的零样本学习分类方法展开研究。现有方法虽然引入注意力机

制，但这些方法通常希望能够从单幅图像中学习到有价值的信息，而忽略了属性的局

部信息以及视觉特征的可转移性。为了解决现有方法在属性特征和语义信息相互映射

过程中，由于全局特征干扰，无法发挥出局部属性更大作用的问题，针对该问题，本

文提出了一种基于Transformer的零样本学习分类方法。该方法采用自适应网格化和局

部属性定位，在属性视觉特征与语义特征向量之间建立更加准确的映射关系对网络进

行优化。通过一系列对比和消融实验验证了改进后算法在分类性能上得到了提升。

再次，对基于伪样本生成的零样本学习方法进行研究。考虑到图像的采集方式和

使用场景的不同，一些特殊场景的图像数据量稀疏、标注难度大等特点，上文中方法

对特殊场景下的图像不再适用。针对此类问题，通过生成伪样本，对数据集进行扩充，

将问题转化为监督学习问题。本文选择声呐图像作为研究对象，由于声呐图像具有图

像噪声大、目标模糊、细节特征缺失的特点，本文提出一种基于改进CycleGAN的零样

本学习分类方法。在生成器网络中引入注意力机制等对网络进行优化，用于指导生成

哈尔滨工程大学硕士学位论文

图像的特征，从而使生成得伪样本的质量得到提高，并使最终分类结果性能得到提升。

通过一系列实验表明该方法在零样本声呐图像分类上得到了理想的效果。

最后，对基于大模型微调的零样本学习方法进行研究。现有基于嵌入的方法和基

于生成的方法基本都要求训练集和测试集属于同一领域，这使得这些方法和训练所得

的模型都只能针对特定的领域和数据范围的问题进行分类，所以研究能够适用于跨领

域的通用方法是非常有必要的。本文提出了一种基于大模型ContrastiveLanguage-Image

Pre-Training，简称CLIP进行微调的零样本学习分类方法，通过引入缓存空间网络使用

少量特定领域数据对模型最终结果进行微调，使模型满足解决通用问题的同时，可以

按着需求针对某一特定领域进行微调，进一步提升的模型的应用价值，并通过实验验

证了该方法的有效性。

关键词：图像分类；零样本学习；Transformer；CycleGAN；CLIP

基于零样本学习的目标分类方法研究

ABSTRACT

Intherealmofcomputervision,imageclassificationremainsaformidableandpivotal

challenge.Asartificialintelligenceanddeeplearningcontinuetoadvanceatarapidpace,the

applicationofimageclassificationtechnologyhasproliferatedacrossdiversedomains,