本地算力部署DeepSeek详细流程-尚硅谷教育.pdfVIP

本地算力部署DeepSeek详

细流程

讲师：尚硅谷-宋红康（江湖人称：康师傅）

尚硅谷官网：http://www.atguigu.om

抖音账号：是康师傅呀(尚硅谷)

配套参考视频：https://www.bilibili.om/video/BV1uqKGeZEy

1/?spm_id_from=333.337.searh-ard.all.likvd_soure=faf

6465655f3477e58a59d101d55d1d

1、版本选择

本地部署就是自己部署DpSk-R1模型，使用本地的算力。

主要瓶颈：内存+显存的大小。

特点：此方案不用联网。

适合：有数据隐私方面担忧的或者必威体育官网网址单位根本就不能上网的。

使用满血版：DpSkR1671B全量模型的文件体积高达

720GB，对于绝大部分人而言，本地资源有限，很难达到这个配

置。

使用蒸馏版：

蒸馏版本：https://huggingfae.o/deepseek-ai

开源2+6个模型。R1预览版和正式版的参数高达660B，非一般

公司能用。为进一步平权，于是他们就蒸馏出了6个小模型，

并开源给社区。最小的为1.5B参数，10G显存可跑。

如果你要在个人电脑上部署，一般选择其他架构的蒸馏模

型，本质是微调后的Llama或Qwn模型，基本32B以下，并不

能完全发挥出DpSkR1的实力。

2、部署过程

比较流行的是使用ollama：https://ollama.om/

Ollama（https://ollama.om/library，可以理解为替换前面的

服务器端，在本地作为服务端，可以是别的平台）

+ChatBox、ChrryStudio等（https://hatboxai.app/zh，前

端，可以是别的工具如Chrom插件PagAssist或Anything

LLM）

步骤1：下载Ollama

步骤2：安装Ollama

傻瓜式安装。过程如下：

安装过程：

安装完后，验证是否安装成功：

”win+r“输入cmd

命令行输入如下：

ollama-v

能显示ollama版本说明安装成功。

步骤3：选择r1模型

步骤4：选择版本

b代表10亿参数量，7b就是70亿参数量。这里的671B是

HuggingFac经过4-bit标准量化的，所以大小是404GB。