2024年大模型安全实践报告——真实漏洞视角下的全面探讨.pdf

大模型安全实践报告

——真实漏洞视角下的全面探讨

目录

一、概述3

二、漏洞列表3

三、模型层安全5

1.数据投毒5

2.后门植入6

3.对抗攻击8

4.数据泄露9

5.小结10

四、框架层安全10

1.计算校验与运行效率的矛盾10

2.处理不可信数据12

（1）原始数据预处理12

（2）模型加载12

3.分布式场景下的安全问题13

（1）llama.cpp14

（2）Horovod16

（3）Ray17

4.小结18

五、应用层安全18

1.前后端交互中的传统安全问题19

（1）IntelNeuralCompressor19

（2）AnythingLLM20

2.Plugin能力缺少约束导致的安全问题20

（1）数据检索处理21

（2）任意代码执行与沙箱机制22

3.小结23

六、总结24

2

一、概述

近年来，人工智能（AI）正以前所未有的速度发展，在各行各业中扮演着越

来越重要的角色。大模型作为AI中的重要一环，其能力随着平台算力的提升、

训练数据量的积累、深度学习算法的突破，得到进一步的提升，并逐渐在部分专

业领域上崭露头角。与此同时，以大模型为核心涌现的大量技术应用，也在计算

机安全领域带来了诸多新的风险和挑战。

本文对大模型在软件设施和具体应用场景落地中的安全问题进行多方面探

讨和研究，涵盖了模型层安全、框架层安全、应用层安全。在研究过程中，我们

借助360安全大模型代码分析能力，对多个开源项目进行代码梳理和风险评估，

结合分析报告，快速审计并发现了近40个大模型相关安全漏洞，影响范围覆盖

llama.cpp、Dify等知名模型服务框架，以及Intel等国际厂商开发的多款开源产

品。这些漏洞中，既存在二进制内存安全、Web安全等经典漏洞类型，又包含由

大模型自身特性引入的综合性问题。本文对不同场景下的攻击路径和可行性进行

分析，并在文中结合了部分漏洞案例和具体说明，旨在从真实漏洞的视角下探索

当前大模型的安全实践情况，为构建更加安全、健康的AI数字环境贡献力量。

二、漏洞列表

目标名称漏洞概述CVE编号

llama.cpp远程代码执行CVE-2024-42479

llama.cpp远程代码执行CVE-2024-42478

llama.cpp远程代码执行CVE-2024-42477

llama.cpp拒绝服务CVE-2024-41130

BentoML远程代码执行CVE-2024-10190

Dify沙箱逃逸CVE-2024-10252

Dask远程代码执行