微软-从100个生成式AI产品中汲取的教训.docx

从100个生成式AI产品中汲取的教训

作者：微软AI红队

红队作战100项生成式AI产品的启示2

作者

布莱克·布拉文克尔、阿曼达·明尼奇、希文·查瓦拉、加里·洛佩斯、马丁·普鲁伊奥、惠特尼·马克斯韦尔、乔里斯·德格鲁伊特、凯瑟琳·普拉特、萨菲尔·齐、尼娜·奇卡诺夫、罗曼·卢茨、拉贾·谢卡尔·拉奥·德希康达、博勒-埃尔登·雅达尔多奇、尤金尼亚·金、贾斯汀·宋、基根·海因斯、丹尼尔·琼斯、乔治奥·塞维里、理查德·伦登、山姆·沃恩、维多利亚·韦斯特霍夫、皮特·布莱恩、拉姆·尚卡尔·西瓦·库马尔、约纳坦·宗格、长谷川昌、马克·拉辛维茨

红队作战100项生成式AI产品的启示3

目录表

04

摘要

07

红队行动

运营

09

案例研究#1

解锁视觉语言模型以生成有害内容

12

第四课

自动化可以帮助涵盖更多的风险领域

14

案例研究#4

探索文本到图像技术性别偏见生成器

16

案例研究#5

SSRF在一个视频处理通用人工智能应用中

05

引言

08

第1课理解系统

能够做到的地方以及应用的范围

10

第三课

人工智能红队战术并非安全基准评估

12

第五课

人工智能的人性化元素红队作战至关重要。

14

第六课

人工智能负责性的危害普遍存在但难以衡量

17

第八课

确保人工智能系统安全的工作永远不会完成。

05

人工智能威胁模型本体论

08

课程2

您不需要计算梯度就能破坏一个AI系统。

11

案例研究#2

评估如何利用大型语言模型（LLM）自动化诈骗

13

案例研究#3

评估聊天机器人如何回应处于困境的用户

15

第七课

LLMs放大了现有的安全风险并引入了新的风险。

18

结论

红队作战100项生成式AI产品的启示4

摘要

近年来，AI红队测试已成为一项用于探测生成人工智能系统安全性和稳健性的实践。鉴于该领域的初创性质，关于如何实施红队测试还有许多未解之谜。基于我们在微软针对超过100个生成人工智能产品的红队测试经验，我们提出了我们的内部威胁模型本体论以及我们汲取的八个主要经验教训：

1.了解系统能够做什么以及其应用领域

您不需要计算梯度来破坏一个人工智能系统。

3.AI红队对抗并不是安全基准测试。

自动化可以帮助覆盖更多的风险领域。

5.人工智能红队测试中的人为因素至关重要。

6.负责任的AI危害普遍存在，但难以衡量

7.大型语言模型（LLMs）放大了现有的安全风险并引入了新的风险

8.确保人工智能系统的任务永远不会完成。

通过与我们的运营案例研究分享这些见解，我们提供了旨在将红队工作与实际世界风险对齐的实用建议。我们还强调了我们认为常常被误解的AI红队方面，并讨论了该领域需要考虑的开放性问题。

红队作战100项生成式AI产品的启示5

引言

随着生成式人工智能（GenAI）系统在越来越多的领域得到应用，AI红队攻击已成为评估这些技术安全性和安全性的核心实践。其核心在于，AI红队攻击试图通过模拟针对端到端系统的现实世界攻击来超越模型级别的安全性基准。然而，关于如何进行红队攻击操作有许多未解之谜，并对当前AI红队攻击努力的成效持怀疑态度[4，8，32]。

本文中，我们通过分享在微软对100多款生成式人工智能产品进行红队测试的经验，来对这些担忧进行探讨。论文结构如下：首先，我们介绍我们用来指导操作的危险模型本体。其次，我们分享我们学到的八个主要经验教训，并针对AI红队提出实际建议，同时附带我们操作中的案例研究。特别是，这些案例研究突出了我们的本体如何被用来模拟广泛的安全和风险。最后，我们讨论了未来发展的领域。

背景

微软人工智能红队（AIRT）源于公司现有的红队项目，并于2018年正式成立。在其成立初期，该团队主要专注于识别传统安全漏洞和针对经典机器学习

模型的逃避攻击。自那时起，微软的AI红队范围和规模在应对两大趋势的影响下显著扩大。

首先，人工智能系统变得更加复杂，这迫使我们扩大人工智能红队测试的范围。最值得注意的是，最先进的（SoTA）模型获得了新的能力，并在一系列