什么是零样本学习.docx

01

为什么要搞零样本学习？(why)

（1）深度学习(deeplearning)已经在各个领域取得了广泛的应用，例如在图像分类问题下，其准确率目前可以达到不错的成绩。然而，deeplearning是一种datahungry的技术，高的准确率建立在预先给模型“喂了”大量的数据，即，需要大量的标注样本才能发挥作用，大多数方法是通过有标签的训练集进行学习，侧重于对已经在训练中出现过标签类别的样本进行分类。

然而在现实场景中，许多任务需要对模型之前从未见过的实例类别进行分类，这样就使得原有训练方法不再适用。因为，现实世界中，有很多问题是没有这么多的标注数据的，或者获取标注数据的成本非常大。

所以，我们思考，当标注数据量比较少时、甚至样本为零时，还能不能继续？

我们将这样的方法称为小样本学习Few-ShotLearning，相应的，如果只有一个标注样本，称One-ShotLearning，如果不对该类进行样本标注学习，就是零样本学习Zero-ShotLearning.

（2）人类学习的过程包含了大量零样本学习的思路，也就是说一个小孩子从来没见过一些类别的东西，在家长和老师的描述之后，他也能在一堆图片里找出那件东西。在2016年中国计算机大会上，谭铁牛院士指出，生物启发的模式识别是一个非常值得关注的研究方向，“比如人识别一个动物(并不需要看到过该动物)，只需要一句话的描述就能识别出来该动物”，比如被广泛引用的人类识别斑马的例子：假设一个人从来没有见过斑马这种动物，即斑马对这个人来说是未见类别，但他知道斑马是一种身上有着像熊猫一样的黑白颜色的、像老虎一样的条纹的、外形像马的动物，即熊猫、老虎、马是已见类别。那么当他第一次看到斑马的时候,可以通过先验知识和已见类，识别出这是斑马。人类通过语义知识作为辅助信息，识别了未见类，零样本学习也正是基于这样的思想、基于人类学习过程，进行算法的研究。

02

什么是零样本学习？(what)

零样本学习zero-shotlearning，是最具挑战的机器识别方法之一。

定义：（数学描述在此略过）

2019年冀中等人在综述文章中将零样本分类的定义分为广义和狭义两种：

零样本分类的技术目前正处于高速发展时期,所涉及的具体应用已经从最初的图像分类任务扩展到了其他计算机视觉任务乃至自然语言处理等多个相关领域.对此,本文将其称为广义零样本分类.相应地,我们将针对图像分类任务的零样本分类任务称为狭义零样本分类。

在冀中和WEIWANG的文章中，零样本学习均被视为迁移学习的一个特例。零样本学习中，源特征空间是训练样本的特征空间和目标特征空间是测试样本的特征空间，这两者是相同的。但是源标注空间和目标标注空间分别是可见类别和未见类别，两者是不同的。因此零样本学习属于异质迁移学习（heterogeneoustransferlearning）。

一个最通俗的例子就是在本文第1部分里提得到的斑马的例子。

零样本学习的实现与另外两个研究领域密不可分，其一是表征学习(representationlearning)，其二是度量学习(metriclearning)。表征学习是指通过对数据进行变换从而提取数据中的有效信息的一种学习方式，涉及到人工智能相关的诸多领域，如信号处理、目标识别、自然语言处理，以及迁移学习等。度量学习通常建立在表征学习的基础之上，其本质是根据不同的任务，根据特定空间中的数据，自主学习出针对某个特定任务的距离度量函数，目前已被广泛应用于诸多计算机视觉相关的任务,如人脸识别、图像检索、目标跟踪、多模态匹配等。对于零样本学习，在获取到合适的数据表征空间之后，则需要对跨模态样本间的距离度量进行学习，目的是保证嵌入到语义空间后样本间的语义相似度关系得以保持。

综上所述，零样本学习可以看作是在进行表征学习和度量学习的基础上，通过借助辅助信息(属性或文本)实现跨模态知识的迁移，从而完成可见类信息到未见类信息推断的迁移学习过程。

03

之前的学者们都是怎么做的？(how)

Zero-ShotLearning这一问题和概念的提出，源于2009年Lampert在CVPR上发表的LearningtoDetectUnseenObjectClassbyBetween-ClassAttributeTransfer这一篇文章。同样是这一年，Hinton等在NIPS也上发表了一篇ZeroShotLearningwithSemanticOutputCodes的文章。这算得上零样本学习开宗明义的文章，所以先介绍这两篇。

Lampert在论文中所提到的Between-ClassAttributeTransfer，通常我们做有监督学习的思路，是实现数据的特征空间到数据标签之间