大语言模型提示注入攻击安全风险分析报告-大数据协同安全技术国家工程研究中心-2023.7.6-55页.docx

安全大脑国家新一代人工智能开放创新平台

大语言模型提示注入攻击安全风险分析报告

大数据协同安全技术国家工程研究中心

2023年7月6日

版权声明

本报告版权属于大数据协同安全技术国家工程研究中心，项目成果属于“安全大脑国家新一代人工智能开放创新平台”，受法律保护。转载、摘编或利用其他方式使用本报告文字或观点的，应注明“来源：大数据协同安全技术国家工程研究中心安全大脑国家新一代人工智能开放创新平台”。违反上述声

明者，编者将追究其相关法律责任。

编写单位及部门

大数据协同安全技术国家工程研究中心AI安全实验室

安全大脑国家新一代人工智能开放创新平台项目组

编写组成员

邹权臣、张德岳、杨东东、韩东、徐昌凯

目录

1.引言 1

2.提示与提示学习 3

2.1提示的概念 3

2.2提示学习的概念 6

3.提示注入攻击 7

3.1直接提示注入 7

3.1.1目标劫持 7

3.1.2提示泄露 9

3.1.3越狱攻击 11

3.2间接提示注入 15

4.提示注入防御 19

4.1输入侧防御 19

4.1.1提示过滤 19

4.1.2提示增强 22

4.2输出侧防御 27

4.2.1内容审核过滤 27

5.测评数据集构建 30

5.1基础数据集构建 30

5.1.1越狱攻击验证数据集 30

5.1.2目标劫持验证数据集 32

5.1.3提示泄露验证数据集 33

5.2测评数据集生成 35

5.2.1恶意问题数据生成 35

5.2.2恶意指令数据生成 36

5.2.3测评数据有效性验证 37

6.实验评估 39

6.1实验设置 39

6.1.1模型设置 39

6.1.2数据设置 40

6.2提示注入攻击风险测评 40

6.2.1不同攻击类别的攻击成功率 40

6.2.2不同问题类别的攻击成功率 41

6.3提示注入防御性能测评 42

6.3.1基于提示增强的防御性能测评 42

6.3.2基于模型检测的防御性能测评 44

7.总结与展望 45

参考文献 47

1

1.引言

近期，基于Transformer的大语言模型（LargeLanguageModel，LLM）研究

取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文

本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如OpenAI推出的GPT系列[1-3]、Google推出的T5[4]和PaLM[5]，以及Meta推出的OPT[6]等大语言模型等。特别是OpenAI推出ChatGPT[7]，由于其强大的理解与生成能力，在短短2个月内突破了1亿用户量，成为史上用户增长速度最快的消费级应用程

序。为了应对市场冲击，谷歌也推出了BARD聊天机器人，Meta则开源了LLaMA模型[8]。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列对话大模型，包括百度文心一言[9]、360智脑[10]、讯飞星火[11]、商汤商量[12]、阿里通义千问[13]、智源悟道[14]、复旦MOSS[15]、清华ChatGLM[16]等。

大语言模型正在各个应用领域引起巨大的变革，并已经在有哪些信誉好的足球投注网站、金融、办公、安全、教育、游戏、电商、社交媒体等领域迅速普及和应用。例如微软将GPT4应用于必应有哪些信誉好的足球投注网站引擎和Office办公软件，而谷歌把PaLM2等模型应用在

Workspace办公套件、Android以及Bard聊天机器人。

然而，伴随着大语言模型广泛应用的同时，也衍生出一系列严重的安全风险，并引发了多起安全事件。如OpenAI曾经默认将用户输入的内容用于模型训练，从而导致了多起隐私数据泄漏事件。据媒体报道，亚马逊公司发现ChatGPT生成的内容中发现与公司机密非常相似的文本[17]。韩国媒体报道称，三星公司在引

入ChatGPT不到20天内就发生3起涉及机密数据泄漏的事故，其中2起与半导

体设备有关，1起与会议内容有关[18]。据网络安全公司Cyberhaven的调查，至少有4%的员工将企业敏感数据输入ChatGPT，而敏感数据占输入内容的11%[19]。

此外，大模型系统近期也被相继爆出多个安全漏洞。例如，ChatGPT的