OWASP大语言模型人工智能应用Top10安全威胁.docx

发布日期:2023年10月16日

|OWASP?语?模型??智能应?Top10安全威胁

介绍

介绍

2022年底，随着ChatGPT进入大众市场，人们对大型语言模型(LLM)的关注尤为浓厚。渴望利用大语言模型潜力的企业正在迅速将其整合到其运营和面向客户的产品中。然而，大语言模型的采用速度已经超过了全面安全协议的建立速度，导致许多应用程序容易受到高风险问题的影响。很明显，大语言模型还没有统一的资源来解决这些安全问题。很多开发者对于与LLM相关的安全风险不够了解，所以相关资源很分散。而OWASP正好能够协助推进这项技术的更安全应用。

它是给谁用的？我们的主要受众是开发人员、数据科学家和安全专家，他们的任务是利用LLM技术设计和构建应用程序和插件。我们的目标是提供实用、可操作且简明的安全指南，帮助这些专业人士应对LLM申请安全复杂且不断变化的领域。

清单的制定创建OWASPLLM申请前10名列表是一项艰巨的任务，它建立在由近500名专家和超过125名积极贡献者组成的国际团队的集体专业知识的基础上。我们的贡献者来自不同的背景，包括人工智能公司、安全公司、ISV、云超大规模提供商、硬件提供商和学术界。

我们进行了一个月的集思广益，提出了潜在的漏洞，团队成员写下了43个不同的威胁。通过多轮投票，我们将这些提案细化为十大最关键漏洞的简明列表。专门的子团队仔细审查了每个漏洞并接受公众审查，以确保获得最全面且可操作的最终列表。

与其他OWASP前10名列表相关虽然我们的列表与其他OWASPTope?列表中发现的漏洞类型具有相同的DNA，但我们并不是简单地重申这些漏洞。相反，我们深入研究这些漏洞在利用LLM的应用程序中遇到时的独特影响。

我们的目标是弥合一般应用程序安全原则和LLM提出的具体挑战之间的鸿沟。这包括探索传统漏洞如何可能带来不同的风险或如何在LLM内以新颖的方式被利用，以及传统的修复策略需要如何适应利用LLM的应用程序。

关于1.1版本虽然我们的列表与其他OWASPTope?列表中发现的漏洞类型具有相同的DNA，但我们并不是简单地重申这些漏洞。相反，我们深入研究这些漏洞在利用LLM的应用程序中遇到时的独特影响。我们的目标是弥合一般应用程序安全原则和LLM提出的具体挑战之间的鸿沟。

该小组的目标包括探索传统漏洞如何在LLM内造成不同的风险或以新颖的方式被利用，以及开发人员如何必须针对利用LLM的应用程序调整传统的修复策略。

未来列表中的ve.e不会是我们的最后一个。我们希望定期更新，以跟上行业状况。我们将与更广泛的社区合作，推动最先进的技术，并为各种用途创造更多的教育材料。我们还寻求与标准机构和政府就人工智能安全主题进行合作。我们欢迎您加入我们的团队并做出贡献。

OWASP.org1

|OWASP?语?模型??智能应?Top10安全威胁

签名

史蒂夫·威尔逊(SteveWilson)

项目负责人，OWASPTope?forLLMApplications

/in/wilsonsd

Twitter/X：@virtualsteve

AdsDawson

ve.e版本负责人和漏洞条目负责人，OWASPTope?forLLMApplications

/in/adamdawson?

GitHub：@GangGreenTemperTatum

OWASP.org2

|OWASP?语?模型??智能应?Top10安全