2025年DeepSeek：智能时代的全面到来和人机协作的新常态报告-浙江大学.docx

DeepSeek

智能时代的全面到来和人机协作的新常态

孙凌云教授

计算机科学与技术学院

2025年2月

一、智能演变

二、人机协作

三、产业现状

四、教育成长

GPT训练数据规模史无前例

GPT训练数据规模史无前例

从2018年的GPT-1到2020年的GPT-3，

模型预训练数据量从4.6GB增加到了45TB

45TB相当于三千万本《西游记》

主要模型数据集包括：

-维基百科数据集（庞大的客观知识）

-书籍（故事讲述能力与反应）

-杂志期刊（语言生成的严谨）

-Github代码等其他数据（逻辑推理）

维基百科

书籍

杂志期刊

Reddit链接

CommonCrawl

其他数据

总计

GPT-1

4.6

4.6

GPT-2

40

40

GPT-3

11.4

21

101

50

570

753

ThePilev1

6

118

244

63

227

167

825

Megatron-11B

11.4

4.6

38

107

161

MT-NLG

6.4

118

77

63

983

127

1374

Gopher

12.5

2100

164.4

3450

4823

10550

表：主要数据集大小汇总，以GB为单位。公开的数据集以粗体表示，确定的数据以斜体表示。CommonCrawl数据集过滤之前为45T

来源：OpenAI团队，LanguageModelsareFew-ShotLearners，/abs/2005.14165，2022年7月22日3

对比维度

GPT-3

DeepSeek-V3

发布时间

2020年6月

2024年12月

训练数据量

3000亿token

14.8万亿token

参数量

175B（密集架构）

671B（MoE架构）

训练成本

$12M

$5.57M

激活参数量

175B（全激活）

37B（5.5%激活率）

主要数据类型

通用互联网文本（含代码/数学）

强化代码/数学的高质量数据

官方来源

OpenAI技术论文

HuggingFace模型卡

4由AI（DeepSeekR1）搜集并整理，经人工检查

4

大模型带来大知识

全体人类知识空间

多媒体知识空间

大模型知识空间

个体知识空间

观点来自：北京大学黄铁军教授.2023年3月31日

三体人如何学习地球知识？

三体人如何学习地球知识？

电磁波探测器拯救派

三体人如何学习地球知识？

电磁波

地球文明信息

原始数据、无目标性

探测器

探测器搜集数据集精准观察、查漏补缺

拯救派

人类反馈实现对齐动态反馈、价值博弈

三体人如何学习地球知识？

电磁波

地球文明信息

原始数据、无目标性

原始数据基建

探测器

探测器搜集数据集精准观察、查漏补缺

定向能力强化

拯救派

人类反馈实现对齐动态反馈、价值博弈

价值观校准

三体人如何学习地球知识？

电磁波探测器拯救派

预训练

Pre-training

监督微调

SupervisedFine-Tuning

(SFT)

人类反馈强化学习

Reinforcementlearninghumanfeedback(RLHF)

参考GPTAssistantTrainingPipelineAndrejKarpathy.Howtotrainyour(Chat)GPTAssistant-Anemergingrecipe,2023年5月25日

三体人如何学习地球知识？

电磁波

基础模型

DeepSeek-V3-Base

探测器+拯救派

强化学习

Reinforcementlearning/GRPO

DeepSeek-R1-Zero的训练过程

结合准确性奖励（数学、编程等任务的可验证结果）和格式奖励（强制输出结构化标签），通过GRPO算法优化模型https://huggingface.co/papers/2501.129482025年1月22日

三体人如何学习地球知识？

电磁波

基础模型

DeepSeek-V3-Base

探测器+拯救派

强化学习

Reinforcementlearning/GRPO

数学题自动判分