人工智能安全：原理与实践 课件 第4章 对抗样本生成算法的安全应用 .pptx

第4章对抗样本生成算法的安全应用4.1对抗样本生成算法原理介绍

本章介绍对抗样本生成算法主要用于生成能够欺骗机器学习模型的输入样本。这些算法通过在原始输入数据中添加微小的、难以察觉的扰动，使得模型做出错误的预测。本章介绍如何使用对抗样本生成算法高效生成对抗样本，并将其应用于图形对抗当中，欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。本章将编程实践两个经典的对抗样本生成算法FastGradientSignMethod(FGSM)算法和ProjectedGradientDescent(PGD)算法。

1.对抗样本生成攻击在人工智能，特别是深度学习领域，神经网络模型的应用已经深入各个领域，如图像识别、语音处理、自动驾驶等。然而，研究表明，这些看似强大的模型实际上对某些精心设计的输入非常脆弱。对抗样本生成攻击（AdversarialAttack）是通过在输入数据上施加细微扰动，使模型产生错误预测的一类攻击手段。这种攻击表面上看起来无害，但可以导致系统崩溃、误分类，甚至产生严重的安全隐患，例如在自动驾驶场景中，对抗样本可能导致车辆错误地识别交通标志。

1.对抗样本生成攻击对抗样本生成攻击的一般工作流程如图所示。这里使用的经典案例来源于首次系统研究对抗样本的论文，展示了通过添加微小的噪声使得神经网络将熊猫误分类为长臂猿。

2.对抗样本生成算法对抗样本生成算法的核心思想是通过在原始数据上添加微小的扰动，使得机器学习模型对修改后的数据做出错误的判断。常见的对抗样本生成算法包括快速梯度符号方法（FGSM）、基本迭代方法（BIM）、投影梯度下降（PGD）、CarliniWagner（CW）攻击等。1.快速梯度符号方法（FGSM）由于白盒攻击已知模型内部的结构和参数，所以最直接有效的白盒攻击算法即：对模型输入的梯度进行一定限度的扰动（因为不能让图片有太大变化），使得扰动后的损失函数最大。

2.对抗样本生成算法2.投影梯度下降（PGD）PGD攻击算法是FSGM的变体，它即是产生对抗样本的攻击算法，也是对抗训练的防御算法。当我们面对一个非线性模型，仅仅做一次迭代，方向是不一定完全正确的，所以在这种情况下显然不能认为FGSM一步的操作就可以达到最优解。PGD算法可以在之前的算法基础上多次迭代，以此找到范围内最强的对抗样本。在PGD中，攻击者会多次小幅度地调整输入，每次调整都会沿着当前对抗样本的损失梯度的方向进行，然后将扰动后的样本投影回允许的扰动空间内。

小结本小节主要介绍对抗样本生成算法的基本知识，以及对抗样本生成算法在图形对抗中的应用。

祝同学们学习进步！致谢

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.cnJanuary23,2025第4章对抗样本生成算法的安全应用实践4-1基于对抗样本生成算法的图像对抗

本实践介绍本实践内容主要是利用对抗样本生成算法进行图像对抗。实践中使用简单的卷积神经网络模型实现，模型主要用于对28*28像素的灰度图数字图片进行识别。使用MNIST数据集进行验证和性能测试。在攻击过程中，使用FGSM算法进行攻击；在拓展实验中，使用PGD算法进行攻击。

1.图像对抗对抗样本是向原始样本中加入一些人眼无法察觉的噪声，这样的噪声不会影响人类的识别，但是却很容易欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。图像对抗主要是在图像识别系统当中，加入对抗样本生成算法生成的噪音数据，从而使得图像识别算法在识别图像的训练当中，给出错误的判定。图像对抗的研究揭示了深度学习模型在面对精心设计的对抗数据时可能存在的漏洞，这对于图像识别的安全应用（如自动驾驶、面部识别系统）尤为重要。

2.实践步骤图像对抗的一般步骤如图所示

3.实践目的1.理解图像对抗的基本原理：通过学习图像对抗的基本原理，研究深度学习模型（尤其是用于图像识别的模型）对微小扰动的敏感性，了解模型的潜在脆弱性。2.熟悉生成对抗样本的算法及实现：通过具体学习FGSM算法和实现代码，从原理上了解对抗样本生成的一般方法，理解算法的特点及应用场景。3.比较和分析不同算法的攻击效能：通过动手实现PGD算法，比较FGSM和PGD算法在不同epsilon设置下的攻击效果差异，直观地了解不同对抗攻击算法的性能，以及如何评估和优化对抗样本的质量。

4.实践环境? python版本：3.10.12或更高版本? 深度学习框架：torch2.2.1+cu121，torchvision0.17.1+cu121? 其他库版本：numpy1.25.2，matplotli