本地算力部署DeepSeek详细流程.docx

本地算力部署DeepSeek详

细流程

1、版本选择

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力。主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者必威体育官网网址单位根本就不能上网的。

使用满血版：DeepSeekR1671B全量模型的文件体积高达720GB，对于绝大部分人而言，本地资源有限，很难达到这个配置。

使用蒸馏版：

蒸馏版本：https://huggingface.co/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模型，本质是微调后的Llama或Qwen模型，基本32B以下，并不能完全发挥出DeepSeekR1的实力。

2、部署过程

比较流行的是使用ollama：/

Ollama

Ollama(/library，可以理解为替换前面的服务器端，在本地作为服务端，可以是别的平台)

+ChatBox、CherryStudio等(https://chatboxai.app/zh，前端，可以是别的工具如Chrome插件PageAssist或AnythingLLM)

步骤1：下载Ollama

步骤2：安装Ollama

傻瓜式安装。过程如下：

安装过程：

安装完后，验证是否安装成功：

”win+r“输入cmd

命令行输入如下：

ollama

ollama-v

能显示ollama版本说明安装成功。

步骤3：选择r1模型

步骤4：选择版本

b代表10亿参数量，7b就是70亿参数量。这里的671B是HuggingFace经过4-bit标准量化的，所以大小是404GB。

ollama支持CPU与GPU混合推理。将内存与显存之和大致视为系统的“总内存空间”。

如果你想运行404GB的671B，建议你的内存+显存能达到500GB以上。

除了模

除了模型参数占用的内存+显存空间(比如671B的404GB)以外，实际运行时还需额外预留一些内存(显存)空间用于上下文缓存。预留的空间越大，支持的上下文窗口也越大。所以根据你个人电脑的配置，评估你选择部署哪一个版本。如果你想运行404GB的671B，建议你的内存+显存能达到500GB以上。

这里我们以7B为例，大多数的电脑都能够运行起来。

步骤5：本地运行DeepSeek模型

在命令行中，输入如下命令：

ollama

ollamarundeepseek-r1:7b

首次运行会下载对应模型文件：

下载支持断点续传，如果下载中速度变慢，可以鼠标点击

下载支持断点续传，如果下载中速度变慢，可以鼠标点击命令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到上一条命令，即”ollamarundeepseek-r1:7b“，按下回车会重新链接，按照之前进度接着下载。

如果不想下载，也可以直接使用我们提供的下载好的模型

如果不想下载，也可以直接使用我们提供的下载好的模型文件，按照后续小节“修改models文件夹路径”的步骤配置好环境变量和对应models文件夹的路径即可。

下载完成后，自动进入模型，直接在命令行输入问题，即可得到回复。

比如：打个招呼！

比如：你好，鲨鱼为什么会溺水呢？

获取帮助：

/

/?

退出对话：

/

/bye

步骤6：查看已有模型

查询已有模型：

ollamalist

后续要运行模型，仍然使用之前的命令：

3、使用客户端工具

本地部署好模型之后，在命令行操作还是不太方便，我们

本地部署好模型之后，在命令行操作还是不太方便，我们继续使用一些客户端工具来使用。

CherryStudio的下载：

CherryStudio的下载地址：/

关于CherryStudio更多功能的使用文档：https://zhuanlan.zhihu.com/p/10585626732

CherryStudio的安装：傻瓜式安装，这里省略。

以Che