人工智能安全：原理与实践 课件 第12章 模型公平性检测与提升原理与实践 .pptx

第12章模型公平性检测与提升原理与实践12.1模型公平性检测与提升原理简介

本章介绍人工智能算法模型在处理数据时，由于设计不完善、数据不平衡或偏见的引入，会导致某些群体或对象受到不公平对待，从而形成算法歧视。本章主要讲述如何对人工智能算法进行公平性检测，从而消除歧视，进而提升算法的公平性。

1.算法歧视机器学习模型随着性能的极大提升，广泛应用于决策系统中，如医疗诊断和信用评分等。尽管取得了巨大成功，但大量研究揭示了训练数据中可能包含先前歧视和社会偏见的模式。在这些数据上训练的机器学习模型可能会继承对年龄、性别、肤色和地区等敏感属性的偏见。例如，有研究发现，用于评估犯罪被告再犯可能性的犯罪预测系统存在严重的不公平现象。该系统对有色人种存在强烈的偏见，倾向于预测他们会再犯，即使他们没有再犯的可能。如图所示为算法歧视导致应用场景中的可能问题。

2.模型公平性方法常见模型公平性方法有训练前预处理，正则化技术和预测后处理等方法。其中常用的训练前预处理方法有重加权方法等，重加权方法通过修改训练实例的权重来平衡不同敏感属性组的表示。上面提到的常见算法的性能都比较好，但是都需要敏感属性信息以去除偏见。然而，对于许多现实世界的应用来说，由于隐私和法律等问题，或数据收集的困难，很难获得每个数据样本的敏感属性。尽管每个数据样本的敏感属性是未知的，但训练数据中通常有一些非敏感特征与敏感属性高度相关，可以用来减轻偏见。

小结人工智能算法模型的不公平可能会导致某些潜在的安全影响，例如面部识别导致某些群体在身份验证过程中遇到更高的拒绝率或错误率，再或者入侵检测系统和行为分析算法对特定群体的误报，这样也会浪费资源。本小节简单介绍了模型公平性检测原理。

祝同学们学习进步！致谢

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.cnJanuary23,2025第12章模型公平性检测与提升原理与实践实践12-1模型公平性检测与提升

本章介绍本实践内容主要是检测模型算法的公平性，消除算法歧视。实践中使用ProPublicaCOMPAS数据集并构建分类任务，目标是预测刑事被告是否会再次犯罪。

1.实践介绍实践中主要使用了相关特征来学习没有敏感属性的公平和准确的分类器。基本思路是使用相关特征既作为训练分类器的特征，又作为伪敏感属性来规范其行为，从而帮助学习公平和准确的分类器。为了平衡分类准确性和模型公平性，并应对识别的相关特征不准确和噪声的情况，实践中可以自动学习每个相关特征在模型中用于正则化的重要性权重。关于实践中选用的基准，为了评估公平性算法的有效性，首先将其与普通模型和敏感属性感知模型进行比较，它们可以作为模型性能的下界和上界：1.香草模型：它直接使用基本分类器，不需要任何正则化项。在不采用公平保证算法的情况下显示其性能。2.约束条件：在这个基线中，假设每个数据样本的敏感属性都是已知的。

1.实践介绍实践流程图如图所示。

2.实践目的（1）理解机器学习公平性问题（2）熟悉相关特征正则化算法及实现（3）体验公平性设计思维

3.实践环境? python版本：3.10.12或更高版本? 深度学习框架：torch2.2.2，sklearn1.3.0? 其他库版本：numpy1.24.3，click8.0.4，fairlearn0.10.0? 运行平台：pycharm

4.实践过程1、确定数据集。本文使用ProPublicaCOMPAS数据集并构建分类任务，目标是预测刑事被告是否会再次犯罪。该数据集由2013年至2014年在佛罗里达州Broward县接受COMPAS筛查的所有刑事被告组成。本实践内容仅对可用于预测被告再犯风险的特征感兴趣。

4.实践过程2、定义重要工具函数文件，命名utils.py。3、定义模型训练及公平性算法文件main.py。4、绘制相关属性公平性模型关于迭代次数的热力图，在3中的main.py文件运行后得出相关属性的参数设置后，对3中的main.py文件进行修改。

5.实践结果实践结果：随着迭代次数的增加，热力图中的颜色逐渐加深或变亮，则表明准确率在逐渐提高，但是颜色加深到准确率在0.67左右就开始保持不变，说明可能到达了该模型的性能上限或数据集较为复杂，应考虑优化模型的复杂度、数据质量、特征选择等因素，并可能需要进行模型调整或数据增强。

小结本实践内容主要是检测模型算法的公平性，消除算法歧视。

祝同学们学习进步！致谢