《人工智能产品伦理风险管理指南》 (编制说明）.pdf

《人工智能产品伦理风险管理指南》（征求意见

稿）编制说明

一、工作简况

（一）任务来源

本文件由上海商汤智能科技有限公司提出，经中国技术市场

协会标准化工作委员会批准，正式列入2022年团体标准制修订

计划，标准名称为《人工智能产品伦理风险管理指南》。

（二）项目背景

近年人工智能伦理风险事件频发，人工智能伦理问题成为社

会关注重点问题之一。2014年，美国某公司的实验性招聘工具使

用人工智能给求职者打分，通过观察10年来提交给公司的简历

中的模式来审查应聘者。操作过程中会对“女性”标识自动降级，

“算法歧视”问题导致女性求职者的录取概率大幅降低。2016年，

河北邯郸一男子驾驶特斯拉在高速公路行驶，前车躲避障碍物，

该男子躲闪不及撞上道路清扫车发生车祸。但据事故后行程记录

仪中的视频分析，事故发生时，特斯拉处于“定速”的状态，并

未能识别躲闪而撞上前车。2017年12月，一个名为“DeepFakes”

的用户在Reddit上发布了一个“假视频”，将一个电影明星的

脸嫁接到了一部电影女主角身上，还将视频上传至该网站，这种

“换脸”技术将会对社会产生很多负面的影响。

人工智能伦理国内外政策法规逐步出台，管理机制逐渐建立。

国际方面，欧盟于2019年正式发布《可信人工智能伦理指南》，

同年欧盟议会正式通过《人工智能、机器人和相关技术的伦理框

1

架》，用于规范人工智能系统在欧盟其成员国范围内的相关伦理

风险。2021年11月，联合国教科文组织发布《人工智能伦理建

议书》，该建议书为全球首个针对人工智能提出的伦理规范框架。

国内方面，为进一步加强人工智能相关法律、伦理、标准和社会

问题研究，深入参与人工智能相关治理的国际交流合作，科技部

于2019年2月正式成立新一代人工智能治理专业委员会，该专

委会于2021年9月正式发布《新一代人工智能伦理规范》。2022

年3月20日，国务院办公厅发布《关于加强科技伦理治理的意

见》。

人工智能利益相关方缺乏伦理风险管理机制。在管理方面，

部分利益相关方内部未设立对应的风险评估机制与相关机构，风

险管理与风险评估流程缺乏科学依据。在标准方面，ISO方面对

人工智能伦理原则方面已展开初步研究，目前缺乏人工智能伦理

风险管理相关标准。

（三）目的意义

本文件针对人工智能产品的伦理风险，从数据、算法、应用

管理等三方面开展人工智能伦理风险分析，并依据科技部《新一

代人工智能伦理规范》等文件，提出人工智能产品相关的伦理风

险管理体系，为人工智能技术、产品和服务利益相关方在开发和

使用过程中提供一定的伦理指导依据。

（四）起草单位及起草人名单

本文件主要起草单位：上海商汤智能科技有限公司、国家工

业信息安全发展研究中心、中国社会科学院科学技术和社会研究

中心、上海计算机软件技术开发中心等。

2

本文件起草人：蒋慧、徐浩、吴庚、熊华俊、段伟文、陈敏

刚等。

（五）主要起草过程

1.文本调研

本文件牵头单位上海商汤智能科技有限公司于2021年4月

启动了人工智能产品伦理相关标准预研工作，并于2021年11月

完成了相关资料的收集和分析工作，并梳理了人工智能产品伦理

风险点和相关原则项。

2.组建标准起草工作组

2021年11月，组建标准起草工作组，召开项目启动会。

3.形成标准草案

2021年11月-2022年6月，标准起草工作组对标准草案开

展组内讨论，对标准草案进行完善，依据前期收集的相关资料，

初步形成了标准范围、人工智能产品伦理风险分析以及人工智能

产品伦理风险管理体系。

4.标准立项

2022年7月，本文件牵头单位上海商汤智能科技有限公司

向中国技术市场协会标准化委员会提出申请，于2022年10月获

得中国技术市场协会标准化工作委员会批准立项。

5.形成征求意见稿

2022年10月，对标准草案进行讨论，起草组对草案内容进

行了修改，形成标准征求意见稿。

二、标准主要内容的确定

（一）编制