人工智能安全：原理与实践 课件 第12章 模型公平性检测与提升原理与实践(12.1模型公平性检测原理简介).pptx

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.cnJanuary23,2025第12章模型公平性检测与提升原理与实践12.1模型公平性检测与提升原理简介

本章介绍人工智能算法模型在处理数据时，由于设计不完善、数据不平衡或偏见的引入，会导致某些群体或对象受到不公平对待，从而形成算法歧视。本章主要讲述如何对人工智能算法进行公平性检测，从而消除歧视，进而提升算法的公平性。

1.算法歧视机器学习模型随着性能的极大提升，广泛应用于决策系统中，如医疗诊断和信用评分等。尽管取得了巨大成功，但大量研究揭示了训练数据中可能包含先前歧视和社会偏见的模式。在这些数据上训练的机器学习模型可能会继承对年龄、性别、肤色和地区等敏感属性的偏见。例如，有研究发现，用于评估犯罪被告再犯可能性的犯罪预测系统存在严重的不公平现象。该系统对有色人种存在强烈的偏见，倾向于预测他们会再犯，即使他们没有再犯的可能。如图所示为算法歧视导致应用场景中的可能问题。

2.模型公平性方法常见模型公平性方法有训练前预处理，正则化技术和预测后处理等方法。其中常用的训练前预处理方法有重加权方法等，重加权方法通过修改训练实例的权重来平衡不同敏感属性组的表示。上面提到的常见算法的性能都比较好，但是都需要敏感属性信息以去除偏见。然而，对于许多现实世界的应用来说，由于隐私和法律等问题，或数据收集的困难，很难获得每个数据样本的敏感属性。尽管每个数据样本的敏感属性是未知的，但训练数据中通常有一些非敏感特征与敏感属性高度相关，可以用来减轻偏见。

小结人工智能算法模型的不公平可能会导致某些潜在的安全影响，例如面部识别导致某些群体在身份验证过程中遇到更高的拒绝率或错误率，再或者入侵检测系统和行为分析算法对特定群体的误报，这样也会浪费资源。本小节简单介绍了模型公平性检测原理。

祝同学们学习进步！致谢