2024生成式大模型安全评估白皮书.docx

◎

蚂蚁安全实验室

生成式大模型

安全评估白皮书

LargeLanguageModel

创智汇德整理，仅供学习参考

前言

大模型安全白皮书参与人名单

联合编写

智能算法安全重点实验室(中国科学院)

公安部第三研究所蚂蚁安全实验室

编写组组长

程学旗--智能算法安全重点实验室主任(中国科学院)

编写组成员

自2022年11月以来，以ChatGPT为代表的生成式大模型持续引发全球广泛关注。作为新一轮人工智能技术革命的代表性成果，生成式大模型的迅速发展，正在深刻重塑全球人工智能技术格局，为我国数字经济高质量发展和智能化转型注入新的动能。然而，随着技术应用的不断扩展，其潜在的安全风险逐渐凸显。诸如大模型幻觉、三星公司机密资料泄露等事件，反映了生成式大模型在隐私保护、恶意滥用、技术漏洞及合规性等方面的复杂挑战。这些问题的出现，不仅对技术的安全性提出了更高要求，也对产业的规范发展和社会治理能力构成了严峻考验。

我国对此高度重视，出台了《生成式人工智能服务管理暂行办法》等一系列政策文件，明确了生成式大模型技术在安全性、风险防控和合规性方面的基本原则和监管要求，为技术的健康发展提供了系统指引和政策保障。这些举措充分体现了我国在全球人工智能技术治理中秉持的前瞻性战略眼光和责任担当。

智能算法安全重点实验室(中国科学院):敖翔、尹芷仪、张曙光、王晓诗、李承奥、

陈天宇、景少玲、张玉洁、张函玉、张晓敏公安部第三研究所：盛小宝、王勇、江钦辉、曹思玮、刘晋名、文煜乾、刘佳磊、王光泽蚂蚁安全实验室：王维强、李俊奎、崔世文、许卓尔、孙传亮、郑亮、朱丛、周莉

版权声明

近期，OpenAI发布了更擅长处理复杂推理任务的01和03系列模型，标志着生成式大模型在复杂应用场景中的潜力进一步提升。然而，技术的快速迭代也对构建科学化、系统化的生成式大模型安全评估框架提出了迫切需求。构建这一框架，需要从技术性能、风险防控、合规性等多个维度明确评估指标体系，系统性降低潜在风险，为行业提供权威的技术指导。这不仅将促进生成式大模型技术向安全、可信、可持续的方向发展，也为全球人工智能技术治理提供了可借鉴的中国方案。

凡是在学术期刊、新闻发布稿、商业广告及其他文章中使用本报告文字、观点，请注明来源：《生成式大模型安全测评白皮书》。

为积极应对生成式大模型的安全挑战，智能算法安全重点实验室(中国科学院)、公安部第三研究所和蚂蚁安全实验室联合编写了2024年度《生成式大模型安全评估白皮书》。白皮书全面梳理了生成式大模型的发展现状与安全风险，从安全评估方法到实践案例，深入剖析了当前技术面临的关键挑战及应对策略，致力于为学术研究、产业实践和政策制定提供重要参考。希望通过这一系统性研究，助力生成式大模型安全性研究与应用推广，为构建安全、可信的人工智能生态体系提供坚实支撑，推动技术向着服务人类社会福祉的方向健康发展。

创智汇德整理，仅供学习参考

创智汇德整理，仅供学习参考

目录

一、生成式大模型发展现状01

02

16

二、生成式大模型的安全风险23

23

28

三、生成式大模型的安全评估方法

39

44

53

四、大模型安全评估实践案例分析

62

78

87

87

五、大模型安全评估的展望

参考文献

102

105

107

创智汇德整理，仅供学习参考

创智汇德整理，仅供学习参考

生成式大模型安全评估

GenerativeLargeModelSecurityAssessment

生成式大模型发展现状

生成式大模型是指基于深度学习技术构建的具有海量参数和复杂结构的生成式模型(Brownetal.,2020)。生成式大模型不同于判别式模型直接对输入数据进行分类或预测，其能够通过学习数据的概率分布来生成新的数据，如文本、图像、音频等；同时，较大的参数量使生成式大模型具有更好的通用性、精度和效率。因此，生成式大模型通过在大型数据集上进行预训练学习，并在下游任务上进行微调的方式，在自然语言处理和计算机视觉等领域的复杂任务上表现出较高的性能和较强的泛化能力。

2022年11月30日，OpenAl开放测试AI驱动的聊天机器人ChatGPT,它是OpenAl基于GPT-3.5等前几代生成式预训练模型(GPT)架构，在增加参数量和数据量后训练得到的生成式对话系统。ChatGPT能够与用户进行自然而流畅的对话，并根据用户输入的对话内容提供有意义的回复。因为参数规模增加，ChatGPT的能力得到了飞跃式提升，其