人工智能安全：原理与实践 课件 第1章 人工智能安全概述(1.1人工智能安全简介).pptx

李剑博士，教授，博士生导师网络空间安全学院lijian@bupt.edu.canuary23,2025第一章人工智能安全概述人工智能安全简介

本章介绍本章从经典的两个人工智能安全案例事件说起，引入人工智能安全的概念及框架，说明了人工智能安全现状，最后给出了本教材的组织、学习和讲授教材的方法。知识与能力目标了解人工智能安全的重要性。认知人工智能安全的概念。掌握人工智能安全的模型。了解这门课的知识体系。了解如何学习这门课程。熟悉这门课的讲授方法。

内容提纲1.3人工智能安全的架构、风险及应对方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全现状

1.1人工智能安全的引入2016年11月18日，在中国深圳举办的“第十八届中国国际高新技术成果交易会”上，一台名为“小胖”的机器人引起了很多人的兴趣。如图所示为小胖机器人。

1.1人工智能安全的引入小胖机器人原为4-12岁儿童研发，主要用于教育目的。然而在展示的过程中这台机器人却突发故障，在没有任何指令的前提下自行打砸展台的玻璃，最终导致部分展台被破坏。更为严重的是，该机器人在破坏展台的过程中还砸伤了一名路人。如图所示为受伤的路人。该事件大概是国内最早报道的机器人伤害人类的事件。以前类似事件多是在电影电视里才能看到的虚拟场景。从深圳这次安全事件可以看出，人工智能方法自身如果出现问题就可以威胁到人类的安全。

1.1人工智能安全的引入当前，人工智能技术应用最具新颖和挑战性的场景之一就是自动驾驶技术，但是就是这样一种技术处理不好的话，依然影响着人类的生命安全。例如，2018年3月23日，苹果公司华裔工程师黄伟伦驾驶特斯拉ModelX在加利福尼亚州山景城附近的高速路上，撞上公路屏障不幸身亡。如图所示为事故现场。

1.1人工智能安全的引入美国国家运输安全委员会（NTSB）的调查结果显示，该车祸发生前，这辆特斯拉车的自动驾驶辅助系统被使用了近19分钟，当时汽车以每小时71英里的速度偏离了高速公路。这场导致驾驶员死亡的车祸明显是技术问题，而非人为因素。从这次事件可以看出，就连特斯拉这样的世界级顶流自动驾驶车企，在面临人工智能安全问题时，依然会出重大安全问题。由此可见，人工智能技术的应用处理不好，会导致人类的生命受到安全威胁。以上两个典型的与人工智能相关的安全事件，一个是人工智能系统自身的安全问题，也称为人工智能原生安全；另一个是人工智能技术应用出现的安全问题，也称作人工智能衍生安全。以上两种安全问题引起了国内外的广泛讨论，人们纷纷提出一个问题：人工智能是否安全呢？

内容提纲1.3人工智能安全的架构、风险及应对方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全现状

1.2人工智能安全的概念人工智能（ArtificialIntelligence），英文缩写为AI。它是指通过计算机科学、数学、统计学等多学科交叉融合的方法，开发出模拟人类智能的技术和算法。它通过模拟人类智能的学习、推理、感知和行动能力，实现机器自主的思考和决策，从而完成一系列复杂的任务和功能。人工智能是十分广泛的科学，包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器学习，计算机视觉等。简单来说，人工智能就是：人类的智慧转化成的能力！

1.2人工智能安全的概念人工智能安全是指通过采取必要措施，防范对人工智能系统的攻击、侵入、干扰、破坏和非法使用以及意外事故，使人工智能系统处于稳定可靠运行的状态，以及遵循人工智能以人为本、权责一致等安全原则，保障人工智能算法模型、数据、系统和产品应用的完整性、必威体育官网网址性、可用性、鲁棒性、透明性、公平性和隐私的能力。这个人工智能安全定义是全国信息安全标准化技术委员会在《人工智能安全标准化白皮书(2019年版)》上发布的。以上的对人工智能安全定义只是强调人工智能内在的安全。更广义上的讲，人工智能安全还包括人工智能的应用安全。

内容提纲1.3人工智能安全的架构、风险及应对方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全现状

1.3人工智能安全的架构、风险及应对方法1.人工智能安全框架：如图所示。包含安全目标、安全风险、安全评估和安全保障4大维度。人工智能安全分为4个核心步骤：

1.3人工智能安全的架构、风险及应对方法1.人工智能安全架构：第1步：从人工智能的应用安全和人工智能系统自身的安全角度来设立安全目标。第2步：梳理人工智能的原生安全和衍生安全风险。(1)原生安全(也叫内生安全)主要是人工智能系统内在的安全或本身的安全，包括人工智能系统中机器学习框架的安全、