派拓网络：2024年为AI助力的应用程序建立治理框架白皮书.pdf

为AI助力的应用程序建立治

理框架

人工智能(AI)的发展日新月异，各行各业的企业都在以前所未有的速度部署AI助力的应用程

序。例如，在PrismaCloud的1

2024年云原生安全现状报告中，100%的受访者都表示自己欣

然接受AI辅助的应用程序开发——对于这个几年前还被许多人视为科幻的技术来说，这确实是

一个让人惊讶的结果。然而，尽管AI系统提供了巨大的优势，但也带来了全新的安全风险和治

理挑战，而传统的网络安全方法并不具备应对这些风险和挑战的能力。

作为一名安全领导者，必须了解AI的现状、其潜在隐患以及给企业带来的独特风险。在本白皮

书中，我们概述了AI的形势，强调了关键的安全考虑因素，并提出了一个治理框架，帮助您在

这个复杂的环境中做到游刃有余。您将清楚地了解企业可能有机会探索的关键AI技术及其安全

隐患，以及需要考虑哪些潜在的防护和缓解措施。我们还将帮助您了解在制定AI安全战略时需

要考虑哪些因素。

1/state-of-cloud-native-security

PrismabyPaloAltoNetworks | 白皮书 | AI治理1

当前的AI形势及其安全隐患

近年来，AI领域发生了翻天覆地的变化，随着企业评估和实施一系列新技术，无论是通用系统还是专

用系统都取得了重大进展。

为了应对AI的相关风险和机遇，安全领导者需要时刻把握这个不断发展的生态系统的脉搏。风险可能

以多种形式表现出来，正如我们最近的研究发现的一样，47%的企业都在担心与AI生成的代码相关的

安全风险2。

在本文中，我们将重点关注部署AI助力的应用程序时出现的云基础设施风险。

截止到今天，以下是AI领域的基本轮廓。

“传统的”AI和ML

多年来，各家企业一直在利用特定于领域的AI和机器学习(ML)推理工具

来提高制造、供应链优化、欺诈检测、在线营销和其他领域的效率和自动

化程度。这些狭义的系统在特定的数据集基础上进行训练，用于执行明确

定义的任务。虽然这些系统已经成为许多业务流程不可或缺的一部分，但

每个应用程序通常都是孤立的，并且作用范围有限。

虽然这些工具已经存在了很长一段时间，并且近年来可能没有经历什么

传统的AI和机器学习

突破性的进展，但它们受到了“水涨船高”现象的影响。围绕着AI的

广泛热情正在推动着人们加速投入预算来部署这些工具以及必威体育精装版的

LLM工具。用例

安全隐患•制造优化、供应链、欺诈检测、

营销

•确保用于训练和运行AI/ML模型的数据的完整性和安全性

•监控AI/ML系统是否存在异常行为、意外输出或性能下降，这些现象

安全风险

可能表明存在数据中毒攻击、模型规避和系统入侵等安全问题

•数据完整性、模型性能监控、偏见

•验证AI/ML模型没有引入无意识的偏见、公平性问题或歧视性结果，

审核、访问控制

从而避免产生法律和名誉风险，这就需要定期对模型审核公平性

•提供适当的访问控制和治理，规定谁可以开发、修改或使用AI/ML

系统

2/state-of-cloud-native-security

PrismabyPaloAltoNetworks | 白皮书 | AI治理2

大型语言模型

LLM已经发展成一种高度全能的通用AI系统，能够进行开放式的对话、生成连贯的文本，甚至还能编

写代码。虽然面向消费者的聊天机器人（如ChatGPT）