《人工智能 可信赖规范 第4部分：机器学习模型》.pdfVIP

人工智能可信赖规范第4部分：机器学习模型

1范围

本文件规定了机器学习模型的可信赖技术边界，包含机器学习模型涉及的各类可信赖技术要素对应

的技术要求和测试方法。

本文件适用于指导利益相关方针对机器学习模型的可信赖技术特性开展规划、设计、实现和测试评

估。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本

文件。

GB/T35273—2020信息安全技术个人信息安全规范

GB/T40660—2021信息安全技术生物特征识别信息保护基本要求

GB/T41867—2022信息技术人工智能术语

3术语和定义

GB/T41867—2022界定的以及下列术语和定义适用于本文件。

3.1

机器学习模型machinelearningmodel

一种基于输入数据或信息生成推理或预测的计算结构。

注：一个机器学习模型是基于机器学习算法训练的结果。

[来源：GB/T41867—2022，3.2.11]

3.2

可信赖trustworthiness

满足利益相关方期望并可验证的能力。

注1：依赖于语境，也依赖于具体的产品或服务、数据以及所用技术，应用不同的可信性赖特征并对其进行验证，

以确保利益相关方的期望能得到满足。

注2：可信赖的特征包括：可靠性、韧性、安全性（信息安全、功能安全）、隐私性、可问责、透明性、真实性、

真实性、质量、实用性等。

注3：可信赖作为一种属性用于描述服务、产品、技术、数据和信息，在治理中也用于组织。

[来源：GB/T41867—2022，3.4.2]

3.3

功能安全functionalsafety

人工智能系统完成设定任务期间，对用户、资源或环境不会造成无法接受风险的性质。

注：本文件仅针对机器学习模型的功能安全进行规范。

1

4可信赖通用框架

如图1所示，依据人工智能系统可信赖技术的通用要求，机器学习模型可信赖通用框架主要包含通

用要求域，核心概念域和关键技术域，其中通用要求域包括功能安全和伦理符合性，核心概念域包括隐

私保护、可靠性、透明性、可问责性和公平性共5项核心特征，关键技术域包括鲁棒性、韧性、可解释

性、可追溯性、无偏见性和信息安全共6项关键技术要素。

图1机器学习模型可信赖通用框架

基于上述机器学习模型可信赖通用框架的关键技术域中提出的6项关键技术要素，并结合机器学习

模型生命周期，分析并提出模型可信赖技术要素在机器学习模型生命周期各阶段需要满足的对应要求，

详细信息如下：

a)鲁棒性：机器学习模型能够针对不同场景和干扰信息的条件下，保持其性能的能力；

b)韧性：机器学习模型能够抵抗对抗样本、后门攻击、数据投毒等外部恶意攻击，并具备快速

恢复的能力；

c)可解释性：机器学习模型在建模前、建模过程、建模后等阶段具备清晰、可理解的说明能力；

d)可追溯性：机器学习模型在全生命周期中具备数据、模型的可溯源能力，保障模型推理结果

错误可及时溯源错误原因；

e)无偏见性：机器学习模型在全生命周期中通过数据均衡性检测、模型偏见控制等方式抑制非

必要的偏见产生的能力；

f)信息安全：机器学习模型和相关数据在全生命周期中具备必威体育官网网址性、可用性和完整性的能力。

表1机器学习模型可信赖技术要素列表

机器学习模型生命周期

可信赖技术要素

设计开发验证测试部署运行维护升级退役下线

鲁棒性○○○\\

韧性○○