大语言模型提示注入攻击安全风险分析报告-大数据协同安全技术国家工程研究中心-2023.7-.pdf

安全大脑国家新一代人工智能开放创新平台

大语言模型提示注入攻击安全

风险分析报告

大数据协同安全技术国家工程研究中心

2023年7月6日

版权声明

本报告版权属于大数据协同安全技术国家工程研究中心，项

目成果属于“安全大脑国家新一代人工智能开放创新平台”，

受法律保护。转载、摘编或利用其他方式使用本报告文字或

观点的，应注明“来源：大数据协同安全技术国家工程研究中

心安全大脑国家新一代人工智能开放创新平台”。违反上述声

明者，编者将追究其相关法律责任。

编写单位及部门

大数据协同安全技术国家工程研究中心AI安全实验室

安全大脑国家新一代人工智能开放创新平台项目组

编写组成员

邹权臣、张德岳、杨东东、韩东、徐昌凯

目录

1.引言1

2.提示与提示学习3

2.1提示的概念3

2.2提示学习的概念6

3.提示注入攻击7

3.1直接提示注入7

3.1.1目标劫持7

3.1.2提示泄露9

3.1.3越狱攻击11

3.2间接提示注入15

4.提示注入防御19

4.1输入侧防御19

4.1.1提示过滤19

4.1.2提示增强22

4.2输出侧防御27

4.2.1内容审核过滤27

5.测评数据集构建30

5.1基础数据集构建30

5.1.1越狱攻击验证数据集30

5.1.2目标劫持验证数据集32

5.1.3提示泄露验证数据集33

5.2测评数据集生成35

5.2.1恶意问题数据生成35

5.2.2恶意指令数据生成36

5.2.3测评数据有效性验证37

6.实验评估39

6.1实验设置39

6.1.1模型设置39

6.1.2数据设置40

6.2提示注入攻击风险测评40

6.2.1不同攻击类别的攻击成功率40

6.2.2不同问题类别的攻击成功率41

6.3提示注入防御性能测评42

6.3.1基于提示增强的防御性能测评42

6.3.2基于模型检测的防御性能测评44

7.总结与展望45

参考文献47

1.引言

近期，基于Transformer的大语言模型（LargeLanguageModel，LLM）研究

取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文

本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如OpenAI推出

[1-3][4][5][6]

的GPT系列、Google推出的T5和PaLM，以及Meta推出的OPT等大语

言模型等。特别是OpenAI推出ChatGPT[7]，由于其强大的理解与生成能力，在

短短2个月内突破了1亿用户量，成为史上用户增长速度最快的消费级应用程

序。为了应对市场冲击，谷歌也推出了BARD聊天机器人，Meta则开源了LLaMA

[8]

模型。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列

[9][10][11][12]

对话大模型，包括百度文心一言、360智脑、讯飞星火、商汤商量、阿

[13][14][15][16]

里通义千问、智源悟道、复旦MOSS、清华ChatGLM等。

大语言模型正在各个应用领域引起巨大的变革，并已经在有哪些信誉好的足球投注网站、金融、办公、

安全、教育、游戏、电商