计算机视觉应用--迁移学习.pptx

迁移学习9.1

人类智能的标志是学习能力,人们每天都在学习新概念,更重要的是人们能够记住所学内容。人类通过学习能力来提高自己,人们希望设计的算法也能拥有持续学习的能力。迁移学习作为一种有前景的解决方案,已经广泛应用在计算机视觉相关领域。小知识迁移学习是将预训练的深度神经网络模型应用于新任务的过程，可以节省训练时间和计算资源。9.1迁移学习

在计算机视觉任务中,采用预训练模型作为新模型的起点已经成了一种常见的做法。通常情况下,这些经过预训练的模型在开发神经网络时已经投入了大量的时间和计算资源,而迁移学习则能够将这些预训练中所积累的丰富经验有效地迁移应用到相关的任务中。9.1迁移学习

9.1.1迁移学习的基本概念迁移学习是一种将从源数据集学到的知识迁移到目标数据集的方法。监督学习是深度学习中常见的模型训练方法之一。然而,其有效性在很大程度上依赖于大量标注数据的可用性,而在实际应用中,获取充足的带标注数据往往受到成本和资源的限制。当需要将深度学习模型应用于特定任务(如图像分类)时,通常难以获得足够的带标注数据。在这种情况下,直接在小规模数据上进行训练可能导致过拟合问题的出现。此外,即使拥有充足的大规模带标注数据,在搭建好深度神经网络模型后,势必要花费大量的算力和时间去训练模型和优化参数,然而,这样耗费大量资源得到的模型通常只能解决一个问题,导致性价比很低。如果训练的模型能够解决多个同类问题,那么模型的性价比会大幅提高。9.1迁移学习

迁移学习被引入作为解决这些问题的一种有效方法。其核心思想是利用已经在大规模数据上训练过的模型的知识,将其应用于新的、相关的任务中,从而节省了大量训练成本和时间,如图9-1所示。计算机视觉中的迁移学习概念通常包括预训练(pre-training)、微调(fine-tuning)和冻结训练(freezetraining)等。首先,预训练阶段是指构建一个深度神经网络模型,并随机初始化其参数。然后,通过在大规模数据集上进行训练,不断调整网络参数,以使其损失逐渐减小。在此过程中,初始参数会不断变化,直到模型表现出令人满意的性能。此时,将训练得到的模型参数保存下来作为预训练模型,以备将来用于类似任务。9.1迁移学习

接下来,在微调阶段,当面临类似的任务时,可以使用之前保存的模型参数作为初始化参数。然后,通过在新任务的数据上进行训练,根据模型在新数据上的表现进行进一步调整。这个过程称为微调,它利用了预训练模型在提取通用图像特征方面的能力,以更有效地适应新任务。冻结训练和微调都是迁移学习常用的方法,将在后续内容进行详细介绍。9.1迁移学习小知识视频帧提取是将视频数据分解成一系列图像帧的过程，可以用于后续的图像处理和分析。

9.1迁移学习

以计算机视觉领域的图像分类任务为例,分类任务通常使用两个主要组件构建模型:特征提取器(或称骨干网络)和分类器(或称输出层)。特征提取器通常由多层网络组成。例如,卷积神经网络,而分类器通常是单层全连接网络。由于不同任务的类别通常不同,分类器通常无法通用,但特征提取器通常具有可复用性,因此通常对不同分类任务只更改分类器,保留预训练模型的特征提取能力。尽管源数据集与目标数据集可能存在巨大差异,甚至没有重叠的类别,但预训练模型在大规模数据上学到的通用图像特征(如边缘、形状和纹理)的能力有助于有效识别目标数据集中的物体,从而提高模型的泛化能力和性能。9.1迁移学习

9.1.2迁移学习策略需要注意的是,在使用迁移学习的过程中有时会导致迁移模型出现负迁移,可以将其理解为模型的泛化能力恶化。假如将迁移学习用于解决两个毫不相关的问题,则极有可能使最后迁移得到的模型出现负迁移。因此,需要根据具体情况采取不同的迁移学习策略,主要包括微调和冻结训练两种策略。微调指的是对一个已经进行过预训练的模型进行细微的调整,继续对整个模型进行训练(包括预训练模型的参数和新添加的层)以使其适应新的任务或数据集,其核心思想是将一个已经在大规模数据集上预训练好的模型(通常是卷积神经网络或其他深度神经网络)应用于新的、相关的任务。与从头开始训练一个新模型相比,微调利用了预训练模型在通用特征提取方面的优势,从而更快速地适应新任务。需要注意的是,进行微调时,应使用较小的学习率,因为预训练模型的权重已经较好,不宜破坏它们。通常,微调的初始学习率比从头训练的小很多。9.1迁移学习

冻结训练是指在迁移学习中,保持预训练模型的一部分或全部层参数不变,即不进行参数更新。通常,被冻结的部分是模型的底层(通常是特征提取器或骨干网络),而新添加的层或输出层会进行训练。冻结训练的目的是保留预训练模型在大规模数据上学到的通用特征提取能力,以便将这些特征用于新任务,加快训练速度,同时减少新任务数据上的过拟合风险。冻结训练适用于目标任务与