本地算力部署DeepSeek详细流程.pdf

本地算力部署DeepSeek详

细流程

1、版本选择

本地部署就是自己部署DeepSeek-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者必威体育官网网址单位根本就不能上网的。

使用满血版：DeepSeekR1671B全量模型的文件体积高达

720GB,对于绝大部分人而言，本地资源有限，很难达到这个配

置。

根据官方及社区的讨论，满血版R1(671B,且不做量化)需要2台8卡H100,或1台8卡H20,或1

台8卡H200来实现所有模型参数的内存卸载。如果按这种说法，只有预算至少在200万以上的企业

级应用才能用上R1本地化部署。因此，UnslothAl社区推出的量化版本R1可以作为使用满血版R1

前的试用装。—Unsloth:我们探索了如何让更多的本地用户运行它，并设法将DeepSeek的

R1671B参数模型量化为131GB,从原来的720GB减少了80%,同时非常实用。

在实际部署中，不同的动态量化+版本的效果不同：

MoEBitsTypeDiskSizeAccuracy

1.58bitIQ1_S131GB正常

1.73bitIQ1_M158GB好

2.22bitIQ2_xXS183GB更好

2.51bitQ2KXL212GB最好

使用蒸馏版：

DeepSeek-R1-DistillModels

ModelBaseModelDownload

DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.58HuggingFace

DeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7BHuggingFace

DeepSeek-R1-Distill-Llama-8BLama-3.1-8BHugqingFace

DeepSeek-R1-Distill-Qwen-14BQwen2.5-14BHugqingFace

DeepSeek-R1-Distill-Qwen-32BQwen2.5-32BHuggingFace

DeepSeek-R1-Distill-Llama-70BLama-3.3-70B-InstructHuggingFace

蒸馏版本：https:/hugqingface.co/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B,非一般

公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，

并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwen模型，基本32B以下，并不

能完全发挥出DeepSeekR1的实力。

部署过程

比较流行的是使用ollama:/

Ollama(/library,可以理解为替换前面的服

务器端，在本地作为服务端，可以是别的平台)

+ChatBox、CherryStudio等(https://chatboxai.app/zh,前端

,可以是别的工具如Chrome插件PageAssist或Anything

LLM)

步骤1:下载Ollama

DiscordGittubModelsSioninDounlod

Getupandrunningwithlarge