第9章 计算机视觉应用进阶.pptx

第9章计算机视觉应用进阶

目录CONTENTS9.1迁移学习9.2注意力机制9.3模型压缩

第9章计算机视觉应用进阶计算机视觉作为人工智能领域备受瞩目的重要分支,赋予计算机“看见”和“理解”图像和视频的能力。本章旨在深入探讨计算机视觉领域的进阶应用,这些技术有助于提升视觉任务的性能和效率。其中将着重介绍迁移学习(transferlearning)、注意力机制(attentionmechanism)及模型压缩等重要技术。本章将从基础概念入手,解释这些关键技术的核心原理,同时深入探讨应用这些技术的具体方法,以及如何在实际应用中最大限度地发挥它们的潜力。以典型的网络模型为例,我们将详细展示如何将迁移学习、注意力机制等技术融入计算机视觉基础任务中,以提高模型的性能和效率。

迁移学习9.1

人类智能的标志是学习能力,人们每天都在学习新概念,更重要的是人们能够记住所学内容。人类通过学习能力来提高自己,人们希望设计的算法也能拥有持续学习的能力。迁移学习作为一种有前景的解决方案,已经广泛应用在计算机视觉相关领域。小知识迁移学习是将预训练的深度神经网络模型应用于新任务的过程，可以节省训练时间和计算资源。9.1迁移学习

在计算机视觉任务中,采用预训练模型作为新模型的起点已经成了一种常见的做法。通常情况下,这些经过预训练的模型在开发神经网络时已经投入了大量的时间和计算资源,而迁移学习则能够将这些预训练中所积累的丰富经验有效地迁移应用到相关的任务中。9.1迁移学习

9.1.1迁移学习的基本概念迁移学习是一种将从源数据集学到的知识迁移到目标数据集的方法。监督学习是深度学习中常见的模型训练方法之一。然而,其有效性在很大程度上依赖于大量标注数据的可用性,而在实际应用中,获取充足的带标注数据往往受到成本和资源的限制。当需要将深度学习模型应用于特定任务(如图像分类)时,通常难以获得足够的带标注数据。在这种情况下,直接在小规模数据上进行训练可能导致过拟合问题的出现。此外,即使拥有充足的大规模带标注数据,在搭建好深度神经网络模型后,势必要花费大量的算力和时间去训练模型和优化参数,然而,这样耗费大量资源得到的模型通常只能解决一个问题,导致性价比很低。如果训练的模型能够解决多个同类问题,那么模型的性价比会大幅提高。9.1迁移学习

迁移学习被引入作为解决这些问题的一种有效方法。其核心思想是利用已经在大规模数据上训练过的模型的知识,将其应用于新的、相关的任务中,从而节省了大量训练成本和时间,如图9-1所示。计算机视觉中的迁移学习概念通常包括预训练(pre-training)、微调(fine-tuning)和冻结训练(freezetraining)等。首先,预训练阶段是指构建一个深度神经网络模型,并随机初始化其参数。然后,通过在大规模数据集上进行训练,不断调整网络参数,以使其损失逐渐减小。在此过程中,初始参数会不断变化,直到模型表现出令人满意的性能。此时,将训练得到的模型参数保存下来作为预训练模型,以备将来用于类似任务。9.1迁移学习

接下来,在微调阶段,当面临类似的任务时,可以使用之前保存的模型参数作为初始化参数。然后,通过在新任务的数据上进行训练,根据模型在新数据上的表现进行进一步调整。这个过程称为微调,它利用了预训练模型在提取通用图像特征方面的能力,以更有效地适应新任务。冻结训练和微调都是迁移学习常用的方法,将在后续内容进行详细介绍。9.1迁移学习小知识视频帧提取是将视频数据分解成一系列图像帧的过程，可以用于后续的图像处理和分析。

9.1迁移学习

以计算机视觉领域的图像分类任务为例,分类任务通常使用两个主要组件构建模型:特征提取器(或称骨干网络)和分类器(或称输出层)。特征提取器通常由多层网络组成。例如,卷积神经网络,而分类器通常是单层全连接网络。由于不同任务的类别通常不同,分类器通常无法通用,但特征提取器通常具有可复用性,因此通常对不同分类任务只更改分类器,保留预训练模型的特征提取能力。尽管源数据集与目标数据集可能存在巨大差异,甚至没有重叠的类别,但预训练模型在大规模数据上学到的通用图像特征(如边缘、形状和纹理)的能力有助于有效识别目标数据集中的物体,从而提高模型的泛化能力和性能。9.1迁移学习

9.1.2迁移学习策略需要注意的是,在使用迁移学习的过程中有时会导致迁移模型出现负迁移,可以将其理解为模型的泛化能力恶化。假如将迁移学习用于解决两个毫不相关的问题,则极有可能使最后迁移得到的模型出现负迁移。因此,需要根据具体情况采取不同的迁移学习策略,主要包括微调和冻结训练两种策略。微调指的是对一个已经进行过预训练的模型进行细微的调整,继续对整个模型进行训练(包括预训练模型的参数和新添加的层)以使其适应新的任务或数据集,其核心思想是将一个已经在大规模