大语言模型提示注入攻击安全风险分析报告-大数据协同安全技术国家工程研究中心(202307).pdfVIP

大语言模型提示注入攻击安全

风险分析报告

目录

1.引言1

2.提示与提示学习3

2.1提示的概念3

2.2提示学习的概念6

3.提示注入攻击7

3.1直接提示注入7

3.1.1目标劫持7

3.1.2提示泄露9

3.1.3越狱攻击11

3.2间接提示注入15

4.提示注入防御19

4.1输入侧防御19

4.1.1提示过滤19

4.1.2提示增强22

4.2输出侧防御27

4.2.1内容审核过滤27

5.测评数据集构建30

5.1基础数据集构建30

5.1.1越狱攻击验证数据集30

5.1.2目标劫持验证数据集32

5.1.3提示泄露验证数据集33

5.2测评数据集生成35

5.2.1恶意问题数据生成35

5.2.2恶意指令数据生成36

5.2.3测评数据有效性验证37

6.实验评估39

6.1实验设置39

6.1.1模型设置39

6.1.2数据设置40

6.2提示注入攻击风险测评40

6.2.1不同攻击类别的攻击成功率40

6.2.2不同问题类别的攻击成功率41

6.3提示注入防御性能测评42

6.3.1基于提示增强的防御性能测评42

6.3.2基于模型检测的防御性能测评44

7.总结与展望45

参考文献47

1.引言

近期，基于Transformer的大语言模型（LargeLanguageModel，LLM）研究

取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文

本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如OpenAI推出

[1-3][4][5][6]

的GPT系列、Google推出的T5和PaLM，以及Meta推出的OPT等大语

言模型等。特别是OpenAI推出ChatGPT[7]，由于其强大的理解与生成能力，在

短短2个月内突破了1亿用户量，成为史上用户增长速度最快的消费级应用程

序。为了应对市场冲击，谷歌也推出了BARD聊天机器人，Meta则开源了LLaMA

[8]

模型。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列

[9][10][11][12]

对话大模型，包括百度文心一言、360智脑、讯飞星火、商汤商量、阿

[13][14][15][16]

里通义千问、智源悟道、复旦MOSS、清华ChatGLM等。

大语言模型正在各个应用领域引起巨大的变革，并已经在有哪些信誉好的足球投注网站、金融、办公、

安全、教育、游戏、电商、社交媒体等领域迅速普及和应用。例如微软将GPT4

应用于必应有哪些信誉好的足球投注网站引擎和Office办公软件，而谷歌把PaLM2等模型应用在

Workspace办公套件、Android以及Bard聊天机器人。

然而，伴随着大语言模型广泛应用的同时，也衍生出一系列严重的安全风险，

并引发了多起安全事件。如OpenAI曾经默认将用户输入的内容用于模型训练，

从而导致了多起隐私数据泄漏事件。据媒体报道，亚马逊公司发现ChatGPT生

[17]

成的内容中发现与公司机密非常相似的文本。韩国媒体报道称，三星公司在引

入ChatGPT不到20天内就发生3起涉及机密数据泄漏