DEEPSEEKV3发布，技术创新和商业化落地的共振.docx

内容目录

内容目录

DeepSeek-V3正式发布，性能对齐海外头部模型 3

国内头部自研开源模型，创新引入训练新策略 4

引入无辅助损失的负载均衡策略，提高模型性能 4

设立多token预测训练目标MTP，增加训练信号的密度 5

结合监督微调和强化学习后训练，性能比肩领先闭源模型 6

SFT和RL帮助模型调整生成策略，新任务适应能力提升 6

SFT和RL的结合，显著提升多个基准测试性能 8

完整训练仅需278.8万H800GPU小时，高性价比追求普惠AGI 8

风险提示 9

图表目录

图表目录

图1.DeepSeek发布DeepSeek-V3模型 3

图2.DeepSeek-V3及其同类产品的基准性能比较 3

图3.DeepSeek-V3的基本架构 4

图4.无辅助损失的平衡策略的消融结果 5

图5.多token预测（MTP）策略的消融结果 6

图6.DeepSeek-V3展示解题时的CoT 7

图7.DeepSeek-V3实际输出结果 7

图8.DeepSeek-V3与其他代表性模型的对比 8

图9.MMLUReduxZeraEval得分vs.输入API价格（￥/1MTokens） 9

DeepSeek-V3正式发布，性能对齐海外头部模型

DeepSeek-V3正式发布。12月26日，深度求索DeepSeek发布了其DeepSeek-V3模型。该模型是一款强大的混合专家（MoE）语言模型，拥有671B参数，激活37B，在14.8Ttoken上进行了预训练。在多种任务中表现卓越，训练高效且成本效益显著。

图

图1.DeepSeek发布DeepSeek-V3模型

数据来源：DeepSeek-V3模型官方，

DeepSeek-V3在多项基准测试中表现优异，比肩世界顶级模型。根据DeepSeek发布的必威体育精装版论文，DeepSeek-V3多项评测成绩超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在性能上和世界顶尖的闭源模型GPT-4o（0513版本）以及Claude-3.5-Sonnet不分伯仲。如下图2所示，在MATH500（EM）测试中，DeepSeek-V3的准确率最高，为90.2%；在Codeforces（Percentile）测试中，DeepSeek-V3的准确率为51.6%，是可比模型中最高。

图

图2.DeepSeek-V3及其同类产品的基准性能比较

数据来源：DeepSeek官网，

国内头部自研开源模型，创新引入训练新策略

基于多头潜在注意力，实现高效推理。DeepSeek-V3的基础架构仍在Transformer架构内，同时采用了多头潜在注意力（Multi-HeadLatentAttention，简称MLA）和DeepSeekMOE（DeepSeek混合专家）机制，以实现更高效推理和更具经济性价比的训练。多头潜在注意力机制（MLA）在DeepSeek-V2模型中就被提出和使用，核心思想是通过压缩键值（Key-Value，简称KV）缓存到一个潜在向量中，以减少推理过程中所需的内存和计算资源，提高模型推理效率。简而言之，MLA是将大模型中的单词信息压缩成更小的信息单元，以帮助模型以更有效和节省的方式处理大量数据。

图3.DeepSeek-V3的基本架构

数据来源：DeepSeek官网，

引入无辅助损失的负载均衡策略，提高模型性能

引入无辅助损失的负载均衡策略。DeepSeek-V3的基本架构与DeepSeek-V2类似，但在DeepSeek-V3中额外引入了无辅助损失的负载均衡策略（auxiliary-loss-freeloadbalancingstrategy）,以在减轻因努力确保负载平衡（efforttoensureloadbalance）而导致的性能下降。

具体而言，负载平衡（loadbalancing）对模型的高效训练和运行至关重要，目的是在多个计算资源之间优化资源使用、最大化吞吐量、最小化响应时间，并避免任何单一点过载。如果专家（expert）之间的负载不均衡，可能会导致计算资源的浪费和性能下降。传统的方法会引入辅助损失（auxiliaryloss）来促使负载平衡，虽然在一定程度上可以促使负载平衡，但太大的辅助损失会对模型的整体性能产生负面影响。此次DeepSeek-V3引入的无辅助损失的负载均衡策略是试图在不依赖辅助损失（或减少其负面影响）的情况下，动态调整偏差项来实现负载平衡，从而使