OWASP LLM人工智能网络安全与治理清单（中文版）.docx

LLM人工智能网络安全与治理清单

来自OWASP的前10名LLM应用团队

版本：1.0

出版：2024年2月19日

修订历史记录

修订

日期

作者(s)

描述

0.1

2023-11-01

桑迪邓恩

初稿

0.5

2023-12-06

SD，团队

公开草案

0.9

2023-02-15

SD，团队

预发行草案

1.0

2024-02-19

SD，团队

公开发布v1.0

本文件中提供的信息不构成，也不打算构成法律咨询。所有资料仅供一般参考。

此文档包含到其他第三方网站的链接。这样的链接只是为了方便，OWASP不推荐或认可第三方网站的内容。

1概述 5

1.1负责任和值得信赖的人工智能 6

1.2这是给谁做的？ 7

1.3为什么要列清单？ 7

1.4不全面 7

1.5大型语言模型的挑战 7

.61LLM威胁类别 8

1.7人工智能安全和隐私培训 9

1.8将LLM的安全和治理与现有的、已建立的实践和控制相结合。9

1.9基本安全原则 9

1.10风险 10

1.11脆弱性和缓解性分类法 10

2确定LLM策略 11

2.1部署策略 13

3检查表 14

3.1对抗性风险 14

.23威胁建模 14

.33人工智能资产库存 14

3.4人工智能安全和隐私培训 15

3.5建立业务案例 15

3.6治理 16

3.7法律 17

.83监管 18

3.9使用或实现大型语言模型解决方案 19

3.10测试、评估、验证和验证（TEVV） 19

3.11模型卡和风险卡 20

3.12RAG：大型语言模型优化 21

3.13AI红色团队 21

4资源 22

一个团队 32

概述

每一个互联网用户和公司都应该为即将到来的强大的生成式人工智能（GenAI）应用程序浪潮做好准备。GenAI在各种行业的创新、效率和商业成功方面有着巨大的前景。尽管如此，就像任何强大的早期技术一样，它也带来了一系列明显而意想不到的挑战。

人工智能在过去的50年里取得了巨大的进步，在ChatGPT的公开亮相推动了大型语言模型（LLMs）的开发和使用之前，它并不显著地支持了各种企业流程。最初，这些技术仅限于学术研究或在公司内执行某些但至关重要的活动，只有少数人能看到。然而，最近在数据可用性、计算机能力、GenAI能力方面的进展，以及美洲羊驼2、高级实验室和中途实验室等工具的发布，已经使人工智能从一个利基市场成为普遍的广泛接受度。这些改进不仅使GenAI技术更容易获得，而且还强调了企业迫切需要制定坚实的战略来整合和开发人工智能，这意味着我们在使用技术方面向前迈出了一大步。

?人工智能（AI）是一个广泛的术语，涵盖了计算机科学的所有领域，使机器能够完成通常需要人类智能的任务。机器学习和生成式人工智能是人工智能的两个子类。

?机器学习是人工智能的一个子集，它专注于创建可以从数据中学习的算法。机器学习算法在一组数据上进行训练，然后它们可以利用这些数据对新数据做出预测或决定。

?生成式人工智能是一种专注于创建新数据的机器学习类型。

?大型语言模型（LLM）是一种处理和生成类人文本的人工智能模型。在人工智能的背景下，“模型”指的是一个经过训练后根据输入数据进行预测的系统。llm是专门在自然语言的大数据集和名

称大语言模型上进行训练的。

组织正在确保和监督GenAI解决方案方面进入未知的领域。GenAI的快速发展也为对手增强其攻击战略打开了大门，引入了防御和威胁升级的双重挑战。

企业在许多领域使用人工智能，包括人力资源用于招聘、电子邮件垃圾邮件筛选、SIEM用于行为分析,以及管理检测和响应应用程序。然而，本文档的主要重点是大型语言模型应用程序及其在创建生成内容时的功能。

负责任和值得信赖的人工智能

随着人工智能的挑战和好处的出现——以及法规和法律的通过——负责任和值得信赖的人工智能使用的原则和支柱正在从理想主义的对象和关注发展到既定的标准。OWASP人工智能交换工作组正在监测这些变化，并解决针对人工智能的各个方面的更广泛、更具挑战性的考虑。

图1.1：图像描述了值得信赖的人工智能的支柱

这是为了谁？

OWASPLLM应用网络安全和治理十大清单是针对行政、技术、网络安全、隐私、合规和法律领域的领导者、DevSecOps、MLSecOps、网络安全团队和安全捍卫者。它的目标是那些努力在快速发展的人工智能世界中保持领先地位的人，不仅是利用人工智能实现企业的成功，而且是防止仓促或不安全的人工智能实现的风险。这些领导者和团队必须创造策略来