人工智能安全：原理与实践 课件 第10章 成员推理攻击原理与实践 .pptx

第10章成员推理攻击原理与实践10.1成员推理攻击原理简介

本章介绍成员推理攻击（MembershipInferenceAttack）是一种针对机器学习模型的隐私攻击，目的在于判断特定的数据样本是否被用于模型的训练过程中。本章主要讲述成员推理攻击的原理与应用。在实践部分，主要讲述基于影子模型的成员推理攻击。

1.成员推理攻击概述成员推理攻击揭示了机器学习模型可能泄露关于其训练数据的敏感信息，尤其是在模型对训练数据过度拟合的情况下。通过成员推理攻击，攻击者可以推断出某个特定的输入是否是模型训练数据的一部分。这在涉及敏感数据的场合尤其危险，比如医疗或金融数据，因为它可能导致隐私泄露。如图所示为成员推理攻击示意图。

2.成员推理攻击分类成员推理攻击在实施攻击时，通常有两种场景：白盒和黑盒。成员推理攻击可以根据攻击的方法论分为直接攻击和间接攻击。成员推理攻击还可以根据攻击的应用场景分为在线攻击和离线攻击。

3.常见的成员推理攻击方法常见的成员推理攻击方法包括影子模型攻击（ShadowModelAttack）、基于模型置信度的攻击和基于差分隐私的攻击模型。（1）影子模型攻击（2）基于模型置信度的攻击（3）基于差分隐私的攻击模型

4.影子模型攻击影子模型攻击是一种针对机器学习模型的成员推断攻击（MembershipInferenceAttack）。其核心思想是利用一个或多个与目标模型训练方式相似的影子模型来推断某个数据样本是否被用于目标模型的训练集中。

5.影子模型攻击的步骤影子模型攻击的步骤如下：1.数据收集2.影子模型训练3.输出分析与标签生成4.攻击模型训练5.攻击执行

小结本小节简单介绍成员推理攻击原理。

祝同学们学习进步！致谢

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.cnJanuary23,2025第10章成员推理攻击原理与实践实践10-1基于影子模型的成员推理攻击

本章介绍本小节详细介绍如何通过Python编程实现基于影子模型的成员推理攻击实践。学习如何从潜在攻击者的视角来分析和评估机器学习模型的安全性

1.实践目的基于影子模型的成员推理攻击实践的目的如下：（1）理解机器学习隐私问题（2）熟悉基于影子模型的成员推理攻击及实现（3）体验对抗性思维

2.实践内容实现MLLeaks[1]论文的第一种知识水平和攻击实施条件下的成员推断攻击。假设攻击方知道目标模型的训练数据分布以及用于训练模型的架构和超参数。实践中使用CIFAR10和MNIST数据集。

3.实验环境? Python版本：3.10.12或更高版本? 深度学习框架：torch2.2.，torchvision0.17.1? 其他库版本：numpy1.24.3，scikit-learn1.3.0? 运行平台：PyCharm

4.实验步骤实验的主要步骤流程如图所示。1.数据准备和预处理2.模型定义和训练3.攻击模型准备4.攻击模型训练和评估5.命令行参数和实验控制

5.实践过程第1步：建立模型文件model.py。

5.实践过程第2步：建立训练文件train.py。

5.实践过程第3步：建立攻击文件attack.py。

5.实践过程第4步：建立cli.py文件

6.实践结果1.使用预训练模型对数据集进行攻击在终端运行pythoncli.pymembership-inferencepretrained-dummy命令，使用预训练模型对默认数据集CIFAR10进行攻击，观察控制台输出。

6.实践结果攻击模型的测试准确率为71.85％。表明其在区分成员和非成员样本方面有一定的能力。详细结果显示，攻击模型对“非成员”类别的准确率为99％，但对“成员”类别的准确率只有64％。这说明攻击模型在识别非成员方面表现很好，但在识别成员方面效果较差。

小结本小节主要讲述基于影子模型的成员推理攻击实践。

祝同学们学习进步！致谢