电子元器件行业系列四：加速端侧AI推广落地，Deepseek本地部署加速端侧AI推广落地.pdf

行业事件快评

目录

1.Deepseek蒸馏后的小模型能力强，支持本地部署3

2.Deepseek可高效构建私有化AI知识管理系统5

3.端侧芯片部署模型能力将进一步加强7

4.风险提示10

请务必阅读正文之后的免责条款部分2of11

行业事件快评

1.Deepseek蒸馏后的小模型能力强，支持本地部署

Deepseek本地部署的硬件要求，根据模型大小有所不同。1.5B、7B、8B、

14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要

体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不

同使用场景：

（1）671B：适用于对准确性和性能要求极高、对成本不敏感的场景，

如大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等。

（2）1.5B-7B：适合对响应速度要求高、硬件资源有限的场景，如移动

端的简单智能助手、轻量级的文本生成工具等，可快速加载和运行。

（3）8B-14B：可用于一些对模型性能有一定要求，但又没有超高性能

硬件支持的场景，如小型企业的日常文本处理、普通的智能客服等。

（4）32B-70B：能满足一些对准确性有较高要求，同时硬件条件相对

较好的场景，如专业领域的知识问答系统、中等规模的内容创作平台等。

表1：Deepseek本地部署的硬件要求，根据模型大小有所不同

参数VRAM需求

模型推荐GPU

(B)(GB)

DeepSeek-R1-多GPU设置（例如，NVIDIAA10080GB

671B~1,342GB