计算机视觉应用--模型压缩.pptx

模型压缩9.3

9.3模型压缩随着神经网络的发展,高级卷积网络和Transformer等架构给计算机视觉任务带来提升的同时,模型的规模及计算量也越来越大,虽然模型的体积增大往往能带来更好的效果,但在实际场景的应用性几乎为零,这也是学术界和工业界存在的一个最大差异,模型的落地往往要考虑的方面有很多,并不只是以网络预测的效果为准。同时目前深度神经网络的复杂和庞大也引发了一系列挑战和问题。

9.3模型压缩(1)存储需求激增:大型深度学习模型包含数以亿计的参数,导致巨大的存储需求,限制了它们在资源受限的设备上的部署,如智能手机、物联网设备等。(2)计算资源需求巨大:训练和推理这些庞大的模型需要大量的计算资源,这给云端和边缘计算环境都带来了巨大压力,增加了成本和能源消耗。(3)通用性受限:大型模型难以在资源受限的环境中使用,从而限制了它们在一些应用中的通用性。123

根据以上困难,模型压缩技术应运而生,它旨在通过算法将深度神经网络精简化,减少参数数量和使用的计算资源,同时在保持任务性能的前提下实现更高的模型效率,即以一种对性能影响最小,最有效的结构或格式表示模型,从而减轻大模型的各项成本。这包括去除不必要的参数、裁剪网络结构或知识蒸馏等方式,使模型适用于计算资源受限的环境,如移动设备、嵌入式系统和边缘计算平台。模型压缩的目标是在减小模型尺寸和计算开销的同时,最大限度地保持或提升模型在特定任务上的性能水平,以在实际应用中获得最佳性价比,促进深度学习模型在各应用领域更广泛的应用。在此背景下,我们将在本节深入研究模型压缩的核心技术和方法,其可以分为两类,一是模型训练后的压缩方法,也称为后处理技术。例如,模型剪枝和知识蒸馏技术,二是模型本身的轻量化方法,也称为前处理技术,通过模型结构或训练方法的优化,达到较高的准确性。例如,MobileNet等轻量化模型结构。通过对本节内容的学习,读者将获得对模型压缩的全面理解。9.3模型压缩

9.3.1模型剪枝模型剪枝(pruning)是一种深度学习模型压缩技术,它的主要目标是通过去除神经网络中不必要的参数和连接,以减少模型的大小和计算量,从而实现模型压缩和加速的效果,同时减少模型的存储和运行成本,提高模型的泛化性能,如图9-18所示。其他压缩技术还有知识蒸馏等,这几种模型压缩技术可以组合使用。通常,深度学习模型中的大部分参数都是冗余的(主要集中在卷积层和全连接层),这些参数对模型的预测结果没有显著的影响,同时会占据大量的存储空间和计算资源,这种现象称为过参数化。去除这些冗余参数和连接可以显著地减少模型的大小和计算量,从而提高模型的效率和准确率,同时能顺便解决网络过拟合问题。由此可见,模型剪枝技术的发展是必然的。9.3模型压缩

9.3模型压缩

实际上剪枝的类别分为以下几种。1.剪枝的类别9.3模型压缩非结构化剪枝(unstructuredpruning)是指修剪参数的单个元素。例如,全连接层中的单个权重、卷积层中的单个卷积核参数元素或自定义层中的浮点数(scalingfloats)。直接修剪参数有很多优点。首先,这种方式很简单,在参数张量中用零替换它们的权重值就足以实现。此外,它的最大优势是修剪的对象是网络中最小、最基本的元素,其数量足以在不影响性能的情况下接受大量修剪。非结构化剪枝包括基于稀疏编码剪枝、自适应剪枝和增量式剪枝。1)非结构化剪枝

9.3模型压缩结构化剪枝(structuredpruning)是一种模型压缩方法,不同于非结构化剪枝,它关注的是整个参数结构。这包括移除整行、整列的权重,或在卷积层中删去整个过滤器。大型神经网络通常包含数百到数千个过滤器,通过结构化剪枝,能够直接简化网络的结构,减少存储需求。此外,减少参数数量使得网络计算更高效,生成的中间表示更轻量,因此需要更少的内存。特别对于需要处理大图像的任务,如语义分割或对象检测,中间表示的内存占用可能比网络本身还要大。由于这些原因,过滤器修剪已经成为结构化剪枝的首选方法。在决定剪枝对象之后,同样重要的是确定修剪的标准,它可以帮助对网络中的参数、过滤器等进行排序,以了解它们的相对重要性。2)结构化剪枝

一个直观且有效的标准是剪掉绝对值最小的权重,这些权重在训练过程中会因为权重衰减而逐渐变小。可以根据过滤器的范数来排序,也可以在每个特征图后插入一个可学习的乘法参数,当这个参数减小到零时,可以有效地剪掉负责该通道的所有参数。除了权重大小,另一个主要标准是梯度的大小,可以通过累积小批量训练数据的梯度来确定可以修剪哪些参数,避免损坏网络。另外,还要考虑选用标准是应用于网络全部参数或过滤器,还是每一层独立计算。虽然全局修剪的效果经多次证明更佳,但也可能导致层崩溃。为避免此问题,可以采用逐层局部剪枝,即在无法防止层崩溃的情况下,每一