面向卷积神经网络的软错误可靠性分析及提升研究.pdfVIP

摘要

面向卷积神经网络的软错误可靠性分析及提升研究

卷积神经网络（ConvolutionalNeuralNetworks,CNNs）凭借其较高的准确性

在图像识别、自动驾驶等领域很受欢迎。随着大规模图像数据的产生以及相关应

用场景的开发，CNNs对计算性能的要求不断提高。而且受到工艺发展等条件的

限制，传统处理器执行CNNs的能效过低。因此，芯片开发人员利用CNN加速

器来提高CNNs的计算性能。但是随着制程工艺的发展，芯片尺寸的缩小和集成

度的提高在带来能效提升的同时，也造成了软错误发生概率的提高。对于具有较

高可靠性需求的新型CNNs应用程序（例如自动驾驶汽车）来说，软错误可能导

致图像识别结果出错。而计算机系统基于错误的图像识别结果做出的决策可能造

成车祸等无法挽回的后果。因此，分析并提升CNNs的软错误可靠性非常重要。

本文分别从CNN模型和CNN加速器体系结构角度建立软错误可靠性量化

分析模型，并提出了两种CNN模型软错误可靠性提升策略。

首先，我们基于CNN模型可靠性特征，提出SERN模型。通过分析CNN模

型的结构特点发现CNN模型的可靠性与软错误发生的位置有关。例如，发生在

正数中的软错误比发生在负数中的软错误对CNN模型的图像识别结果影响更大；

发生在32位浮点数的阶码符号位（第30位）中的软错误比发生在其他位中的软

错误对CNN模型的图像识别结果影响更大。基于上述CNN模型软错误可靠性

特性，提出的SERN模型仅需要少量的CNN模型参数就可以计算出CNN模型

中发生的软错误导致图像识别结果出错的概率，具有通用性和普适性。基于

SERN，我们发现位置靠前的层，软错误可靠性较差；计算量大越大的层，软错

误可靠性较差。同时，本文通过对几种常见CNN模型进行错误注入实验，验证

了所提SERN模型可以高效、准确地对CNN模型进行软错误可靠性分析。

其次，我们基于CNN加速器的硬件结构特点和动态使用特性，提出CNNArc-

AVF模型。CNNArc-AVF根据对图像识别结果有影响的关键计算在CNN加速器

中的驻留时间计算软错误导致图像识别结果出错的概率。根据CNNArc-AVF，我

们探索了CNN加速器在不同架构设计下的可靠性特征，包括数据流映射策略，

脉动阵列大小。借助CNNArc-AVF，我们发现了CNN加速器的可靠性瓶颈。例

如，我们观察到与其他数据流映射策略相比，CNN加速器采用输出固定数据流

映射策略时最容易受软错误的影响。我们进一步对CNN加速器中各处理单元进

行可靠性分析，发现处理单元的利用率越高，其软错误可靠性越差。通过分析执

行不同CNN模型时CNN加速器的可靠性，发现CNN加速器执行卷积层中的计

算时比执行全连接层中的计算时更容易受到软错误的影响。我们还对CNN加速

器的可靠性和性能进行了权衡。上述结论可以帮助芯片设计人员对可靠性瓶颈提

出有针对性的可靠性提升策略，避免了对CNN加速器中所有操作盲目的添加纠

错设计带来的计算资源和计算速度开销。

最后，我们基于CNN模型的软错误可靠性特性，提出两种CNN模型软错

误可靠性提升策略。分别为用纠错码（ErrorCorrectingCode,ECC）保护易受软

错误影响的数据位和冗余执行易受软错误影响的CNN模型层。通过实验证明上

述策略可以以可接受的能耗和执行时间开销显著降低软错误对CNN模型的影响，

提高CNN模型的图像识别准确率。

关键词：

卷积神经网络，卷积神经网络加速器，软错误，可靠性，体系结构脆弱因子

Abstract

SoftErrorReliabilityAnalysisandImprovementforConvolutional

NeuralNetwork

ConvolutionalNeuralNetworks(CNNs)arepopularinimagerecognition,

autonomousvehiclesandotherfieldsduetoth