对深度学习自适应网络学习可迁移特征的理解.pdf

数字图像处理大作业 题目：Learning Transferable Features with Deep Adaptation Networks 姓名：王继天 学院：信息科学与技术学院 专业：通信工程 年级： 研究生-2016 学号： 23320161153434 Learning Transferable Features with Deep Adaptation Networks 背景： 出版源 《Computer Science》, 2015:97-105 关键词 Computer Science - Learning 被引量 44 摘要： 最近的研究表明深度学习神经网络可以学习能够很好地泛化于域适应新任 务的可迁移特征。尽管如此，作为在网络中最终从一般迁移到具体的深度特征， 特征的可迁移性在高层中随着域差异的增加而显著下降。因此，正是减少数据集 偏差和加强特定任务层的迁移能力是非常重要的。在这篇论文中，提出了一个新 的深度学习域适应（Deep Adaptation Network,DAN ）结构，这个架构能将深度学 习卷积神经网络推广到域适应情景中。在 DAN 中，所有特定任务层的隐藏表示 都可以被嵌入到Reproducing kernel Hilbert space 中，在这个希尔伯特空间中不同 域分布的嵌入平均值是明确的。域差异可以通过使用平均嵌入匹配的最佳多核选 择方法来被进一步减小。DAN 可以通过统计保证学习迁移特征，并且可以通过核 匹配的无偏差估计来延伸线性。大量事实数据表明我们提出的架构在标准的域适 应基准中可以产生最先进的图像分类误差率。 引言： 本篇论文是基于深度学习域适应方法进行的特征迁移改进方法，这种方法在 图像处理中有非常重要的应用，尤其是各类图像分类处理中，基于域适应方法的 知识迁移是未来图像分类处理的主流方向。由于域适应方法是迁移学习的一种具 体应用方法，这里我们先简单介绍下迁移学习。 在当前的图像处理中，机器学习和数据挖掘算法的应用已经越来越广泛了，但在 许多机器学习和数据挖掘算法中的主要假设是训练和测试数据必须在相同的特 征空间中并且具有相同的分布。然而，在许多现实应用中，尤其是图像处理中， 这种假设可能不成立。例如，我们在一个感兴趣的域中具有分类任务，但是在另 一个感兴趣的域中只有足够的训练数据，其中后一个空间的数据可能在在不同的 特征空间中或遵循不同的数据分布。在这种情况下，如果能将从有训练数据的数 据集中学到的特征知识迁移到没有足够训练数据的数据集中进行应用，即将已有 经验应用到新的任务中去，这可以节省相当大的成本，这种学习方法就叫做迁移 学习，近年来迁移学习已经成为解决类似分类问题的新兴的学习架构。 对于迁移学习，我们给出两个主要的定义，一是域，二是任务。域即为数据 集，在迁移学习中分为源域和目标域，源域可以理解为之前例子中有足够训练数 据的数据集，而目标域则是我们感兴趣的但可能缺乏足够训练数据的数据集。任 务则是分为源域任务和目标任务。迁移学习的方法各不相同的原因主要是因为这 域和任务之间的差异。 当源域和目标域一样，源域任务和目标任务也一样时，这是传统的机器学习。 当源域与目标域不同但是任务相同时，被称为转换迁移学习。当源域与目标域相 同而任务不同时，被称为引导迁移学习。当域和任务都不相同时，被称为无监督 迁移学习。 本篇论文所介绍的方法是域适应的方法的范畴，域适应也可以叫做领域自适 应，他是转换迁移学习的一种具体方法，主要应用在分类和回归问题上。域适应 方法一般要求源域上的数据是有标签的，目标域上的数据是无标签的。即想实现 目标域能够和源域相似的分类。 具有有限标签样本的监督学习机的泛化误差令人不满，而对于各个应用领域 的充足训练数据进行手动标注则令人望而却步。因此，建立一个有效的算法来减 少标签成本是非常重要的，通常是利用从相关源域到目标域的现成的有标签的数 据来实现。域适应强调的是解决有来自两个相关域但分布不同的数据问题。域差 异是不同域之间适应预测模型的主要障碍。比如，在手动标注的图像上训练出的 对象识别模型可能在姿态，遮挡或者照明的变