DeepSeek LLM：以长远主义扩展开源语言模型 DeepSeek LLM_ Scaling Open-Source Language Models with Longtermism（中文版）.pdf

DeepSeekLLM

以长远主义扩展开源语言模型

XiaoBi,DeliChen,GuantingChen,ShanhuangChen,DamaiDai,ChengqiDeng,

HonghuiDing,KaiDong,QiushiDu,ZheFu,HuazuoGao,KaigeGao,WenjunGao,

RuiqiGe,KangGuan,DayaGuo,JianzhongGuo,GuangboHao,ZhewenHao,YingHe,

WenjieHu,PanpanHuang,ErhangLi,GuoweiLi,JiashiLi,YaoLi,Y.K.Li,WenfengLiang,

FangyunLin,A.X.Liu,BoLiu,WenLiu,XiaodongLiu,XinLiu,YiyuanLiu,HaoyuLu,

ShanghaoLu,FuliLuo,ShirongMa,XiaotaoNie,TianPei,YishiPiao,JunjieQiu,HuiQu,

TongzhengRen,ZehuiRen,ChongRuan,ZhangliSha,ZhihongShao,JunxiaoSong,

XuechengSu,JingxiangSun,YaofengSun,MinghuiTang,BingxuanWang,PeiyiWang,

ShiyuWang,YaohuiWang,YongjiWang,TongWu,Y.Wu,XinXie,ZhendaXie,ZiweiXie

YiliangXiong,HanweiXu,R.X.Xu,YanhongXu,DejianYang,YuxiangYou,ShuipingYu,

XingkaiYu,B.Zhang,HaoweiZhang,LecongZhang,LiyueZhang,MingchuanZhang,

MinghuaZhang,WentaoZhang,YichaoZhang,ChenggangZhao,YaoZhao,

ShangyanZhou,ShunfengZhou,QihaoZhu,YuhengZou

DeepSeek-AI

Abstract

开源大语言模型(LLMs)的快速发展令人瞩目。然而，先前文献中描述的缩放定律(Scaling

Laws)得出了不同的结论，这为缩放LLMs蒙上了一层阴影。我们深入研究了缩放定律，并

BB

提出了一些独特的发现，这些发现有助于在当前广泛使用的两种开源配置，7和67下扩展

大规模模型。在缩放定律的指导下，我们推出了DeepSeekLLM项目，致力于长期推进开源语

言模型的发展。为了支持预训练阶段，我们构建了一个目前包含2万亿tokens且仍在持续扩

展的数据集。我们进一步在DeepSeekLLM基础模型上进行监督微调(SFT)和直接偏好优化

(DPO),从而构建了DeepSeekChat模型。我们的评测结果表明，DeepSeekLLM67B在多个

基准测试上超越了LLaMA-270B,尤其在代码、数学和推理领域表现突出。此外，开放式评测

显示，我们的DeepSeekLLM67BChat在综合性能上优于GPT-3.5。

*Authorsareorderedalphabeticallybythelastname.

Contents

1引言3

2预训练