本地算力部署DeepSeek详细流程.docx

本地算力部署DeepSeek详细流程

1、版本选择

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力。主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者必威体育官网网址单位根本就不能上网的。

使用满血版：DeepSeekR1671B全量模型的文件体积高达

720GB,对于绝大部分人而言，本地资源有限，很难达到这个配置。

根据官方及社区的讨论，满血版R1(671B,且不做量化)需要2台8卡H100,或1台8卡H20,或1台8卡H200来实现所有模型参数的内存卸载。如果按这种说法，只有预算至少在200万以上的企业级应用才能用上R1本地化部署。因此，UnslothAl社区推出的量化版本R1可以作为使用满血版R1前的试用装。—Unsloth:我们探索了如何让更多的本地用户运行它，并设法将DeepSeek的R1671B参数模型量化为131GB,从原来的720GB减少了80%,同时非常实用。

在实际部署中，不同的动态量化+版本的效果不同：

MoEBits

Type

DiskSize

Accuracy

1.58bit

IQ1_S

131GB

正常

1.73bit

IQ1_M

158GB

好

2.22bit

IQ2_xXS

183GB

更好

2.51bit

Q2KXL

212GB

最好

使用蒸馏版：

DeepSeek-R1-DistillModels

Model

BaseModel

Download

DeepSeek-R1-Distill-Qwen-1.5B

Qwen2.5-Math-1.58

HuggingFace

DeepSeek-R1-Distill-Qwen-7B

Qwen2.5-Math-7B

HuggingFace

DeepSeek-R1-Distill-Llama-8B

Lama-3.1-8B

HugqingFace

DeepSeek-R1-Distill-Qwen-14B

Qwen2.5-14B

HugqingFace

DeepSeek-R1-Distill-Qwen-32B

Qwen2.5-32B

HuggingFace

DeepSeek-R1-Distill-Llama-70B

Lama-3.3-70B-Instruct

HuggingFace

蒸馏版本：https:/hugqingface.co/deepseek-ai

开源2+6个模型。

开源2+6个模型。R1预览版和正式版的参数高达660B,非一般公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwen模型，基本32B以下，并不能完全发挥出DeepSeekR1的实力。

部署过程

比较流行的是使用ollama:/

Ollama

Ollama(/library,可以理解为替换前面的服务器端，在本地作为服务端，可以是别的平台)

+ChatBox、CherryStudio等(https://chatboxai.app/zh,前端

,可以是别的工具如Chrome插件PageAssist或AnythingLLM)

步骤1:下载Ollama

DiscordGittubModels

DiscordGittubModelsSioninDounlod

Getupandrunningwithlarge

languagemodels.

RunJlam33.Deepss-RLhi-MistrtGemn2,andothermodels,locly

Dowrlad

DownloadOllama

macOSLinux

DownloadforWind