2025年DeepSeek：智能时代的全面到来和人机协作的新常态报告-浙江大学.pdf

DeepSeek

智能时代的全面到来和人机协作的新常态

孙凌云教授

计算机科学与技术学院

2025年2月

一、智能演变

二、人机协作

三、产业现状

四、教育成长

GPT训练数据规模史无前例

维基杂志RedditCommon其他

从2018年的GPT-1百科书籍期刊链接Crawl数据总计

到2020年的GPT-3，GPT-14.64.6

模型预训练数据量从4.6GB增加到了45TBGPT-24040

45TB相当于三千万本《西游记》GPT-311.42110150570753

ThePilev1611824463227167825

主要模型数据集包括：

Megatron-

11.44.638107161

11B

-维基百科数据集（庞大的客观知识）

MT-NLG6.411877639831271374

-书籍（故事讲述能力与反应）

Gopher12.52100164.43450482310550

-杂志期刊（语言生成的严谨）

-Github代码等其他数据（逻辑推理）表：主要数据集大小汇总，以GB为单位。公开的数据集以粗体表示，

确定的数据以斜体表示。CommonCrawl数据集过滤之前为45T

来源：OpenAI团队，LanguageModelsareFew-ShotLearners，/abs/2005.14165，2022年7月22日3

对比维度GPT-3DeepSeek-V3

发布时间2020年6月2024年12月

训练数据量3000亿token14.8万亿token

参数量175B（密集架构）671B（MoE架构）

训练成本$12M$5.57M

激活参数量175B（全激活）37B（5.5%激活率）

主要数据类型通用互联网文本（含代码/