电子元器件行业系列四：加速端侧AI推广落地，Deepseek本地部署加速端侧AI推广落地.docx

目录

Deepseek蒸馏后的小模型能力强，支持本地部署 3

Deepseek可高效构建私有化AI知识管理系统 5

端侧芯片部署模型能力将进一步加强 7

风险提示 10

Deepseek蒸馏后的小模型能力强，支持本地部署

Deepseek本地部署的硬件要求，根据模型大小有所不同。1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不

同使用场景：

（1）671B：适用于对准确性和性能要求极高、对成本不敏感的场景，如大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等。

（2）1.5B-7B：适合对响应速度要求高、硬件资源有限的场景，如移动端的简单智能助手、轻量级的文本生成工具等，可快速加载和运行。

（3）8B-14B：可用于一些对模型性能有一定要求，但又没有超高性能硬件支持的场景，如小型企业的日常文本处理、普通的智能客服等。

（4）32B-70B：能满足一些对准确性有较高要求，同时硬件条件相对较好的场景，如专业领域的知识问答系统、中等规模的内容创作平台等。

表1：Deepseek本地部署的硬件要求，根据模型大小有所不同

模型

参数

(B)

VRAM需求

(GB)

推荐GPU

DeepSeek-R1-

Zero

671B

~1,342GB

多GPU设置（例如，NVIDIAA10080GB

x16）

DeepSeek-R1

671B

~1,342GB

多GPU设置（例如，NVIDIAA10080GB

x16）

DeepSeek-R1-Distill-Qwen-

1.5B

1.5B

~0.75GB

NVIDIARTX306012GB或更高

DeepSeek-R1-

Distill-Qwen-7B

7B

~3.5GB

NVIDIARTX306012GB或更高

DeepSeek-R1-

Distill-Llama-8B

8B

~4GB

NVIDIARTX306012GB或更高

DeepSeek-R1-

Distill-Qwen-14B

14B

~7GB

NVIDIARTX306012GB或更高

DeepSeek-R1-

Distill-Qwen-32B

32B

~16GB

NVIDIARTX409024GB

DeepSeek-R1-

Distill-Llama-70B

70B

~35GB

多GPU设置（例如，NVIDIARTX4090x2）

数据来源：

DeepSeek的本地部署需要借助Ollama工具来完成。Ollama是一个开源工具，支持在本地运行和部署大型语言模型。根据硬件配置选择合适的DeepSeek模型版本。例如，对于入门级部署，可以使用1.5B版本；对于中端配置，可以选择7B或8B版本。

图1：DeepSeek的本地部署需要借助Ollama工具来完成

数据来源：ollama

DeepSeek系列的模型在多个基准测试中展现出了较强的性能。DeepSeek团队证明，大型的推理模式可以被提炼到小模型中，与通过强化学习在小型模型上发现的推理模式相比，这种方法能够带来更好的性能。以下为通过使用

DeepSeek-R1生成的推理数据对研究社区中广泛使用的几种密集型模型进行微调而创建的模型。评估结果显示，经过提炼的小型密集模型在基准测试中表现极为出色。

图2：不同模型在多个基准测试上的性能表现

数据来源：ollama

Deepseek可高效构建私有化AI知识管理系统

AnythingLLM和Ollama可搭建DeepSeek本地知识库，高效且灵活的构建私有化的AI知识管理系统，不仅保护数据隐私而且可以根据特定需求进行定制优化。

图3：AnythingLLM和Ollama可搭建DeepSeek本地知识库

数据来源：AnythingLLM，

AnythingLLM是一个功能强大的AI应用程序，支持将本地文档或数据源整合进一个可检索、可对话的知识库。访问AnythingLLM官网下载并安装。安装完成后，创建工作区，并将LLM提供者更改为DeepSeek模型。

在AnythingLLM中，可以上传PDF、TXT、DOCX等格式的文档，这些文档将被提取、分割、向量化，并存储在向量数据库中。通过这种方式，用户可以构建自己的私有知识库，并在问答时自动引用相关文档。

图4：用户可以构建自己的私有知识库，并在问答时自动引用相关文档

数据来源：Anythingllm

构建个人本地知识库的意义主要体现在数据隐私保护