本地算力部署DeepSeek详细流程.pdf

本地算力部署DeepSeek详

细流程

1、版本选择

本地部署就是自己部署DpSk-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者必威体育官网网址单位根本就不能上网的。

使用满血版：DpSkR1671B全量模型的文件体积高达

720GB，对于绝大部分人而言，本地资源有限，很难达到这个配

置。

使用蒸馏版：

蒸馏版本：https://huggingfae.o/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般

公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，

并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwn模型，基本32B以下，并不

能完全发挥出DpSkR1的实力。

2、部署过程

比较流行的是使用ollama：https://ollama.om/

Ollama（https://ollama.om/library，可以理解为替换前面的

服务器端，在本地作为服务端，可以是别的平台）

+ChatBox、ChrryStudio等（https://hatboxai.app/zh，前

端，可以是别的工具如Chrom插件PagAssist或Anything

LLM）

步骤1：下载Ollama

步骤2：安装Ollama

傻瓜式安装。过程如下：

安装过程：

安装完后，验证是否安装成功：

”win+r“输入cmd

命令行输入如下：

ollama-v

能显示ollama版本说明安装成功。

步骤3：选择r1模型

步骤4：选择版本

b代表10亿参数量，7b就是70亿参数量。这里的671B是

HuggingFac经过4-bit标准量化的，所以大小是404GB。

ollama支持CPU与GPU混合推理。将内存与显存之和大致视为

系统的“总内存空间”。

如果你想运行404GB的671B，建议你的内存+显存能达到500GB以

上。

除了模型参数占用的内存+显存空间（比如671B的404GB）以

外，实际运行时还需额外预留一些内存（显存）空间用于上

下文缓存。预留的空间越大，支持的上下文窗口也越大。所

以根据你个人电脑的配置，评估你选择部署哪一个版本。如

果你想运行404GB的671B，建议你的内存+显存能达到500GB

以上。

这里我们以7B为例，大多数的电脑都能够运行起来。

步骤5：本地运行DeepSeek模型

在命令行中，输入如下命令：

ollamarundeepseek-r1:7b

首次运行会下载对应模