人工智能安全：原理与实践 课件 第4章 对抗样本生成算法的安全应用(4.1对抗样本生成算法原理介绍).pptx

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.cnJanuary23,2025第4章对抗样本生成算法的安全应用4.1对抗样本生成算法原理介绍

本章介绍对抗样本生成算法主要用于生成能够欺骗机器学习模型的输入样本。这些算法通过在原始输入数据中添加微小的、难以察觉的扰动，使得模型做出错误的预测。本章介绍如何使用对抗样本生成算法高效生成对抗样本，并将其应用于图形对抗当中，欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。本章将编程实践两个经典的对抗样本生成算法FastGradientSignMethod(FGSM)算法和ProjectedGradientDescent(PGD)算法。

1.对抗样本生成攻击在人工智能，特别是深度学习领域，神经网络模型的应用已经深入各个领域，如图像识别、语音处理、自动驾驶等。然而，研究表明，这些看似强大的模型实际上对某些精心设计的输入非常脆弱。对抗样本生成攻击（AdversarialAttack）是通过在输入数据上施加细微扰动，使模型产生错误预测的一类攻击手段。这种攻击表面上看起来无害，但可以导致系统崩溃、误分类，甚至产生严重的安全隐患，例如在自动驾驶场景中，对抗样本可能导致车辆错误地识别交通标志。

1.对抗样本生成攻击对抗样本生成攻击的一般工作流程如图所示。这里使用的经典案例来源于首次系统研究对抗样本的论文，展示了通过添加微小的噪声使得神经网络将熊猫误分类为长臂猿。

2.对抗样本生成算法对抗样本生成算法的核心思想是通过在原始数据上添加微小的扰动，使得机器学习模型对修改后的数据做出错误的判断。常见的对抗样本生成算法包括快速梯度符号方法（FGSM）、基本迭代方法（BIM）、投影梯度下降（PGD）、CarliniWagner（CW）攻击等。1.快速梯度符号方法（FGSM）由于白盒攻击已知模型内部的结构和参数，所以最直接有效的白盒攻击算法即：对模型输入的梯度进行一定限度的扰动（因为不能让图片有太大变化），使得扰动后的损失函数最大。

2.对抗样本生成算法2.投影梯度下降（PGD）PGD攻击算法是FSGM的变体，它即是产生对抗样本的攻击算法，也是对抗训练的防御算法。当我们面对一个非线性模型，仅仅做一次迭代，方向是不一定完全正确的，所以在这种情况下显然不能认为FGSM一步的操作就可以达到最优解。PGD算法可以在之前的算法基础上多次迭代，以此找到范围内最强的对抗样本。在PGD中，攻击者会多次小幅度地调整输入，每次调整都会沿着当前对抗样本的损失梯度的方向进行，然后将扰动后的样本投影回允许的扰动空间内。

小结本小节主要介绍对抗样本生成算法的基本知识，以及对抗样本生成算法在图形对抗中的应用。

祝同学们学习进步！致谢