网站大量收购独家精品文档,联系QQ:2885784924

DeepSeek:大模型的拼多多是如何炼成的.docx

DeepSeek:大模型的拼多多是如何炼成的.docx

  1. 1、本文档共19页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

DeepSeek:大模型的拼多多是怎么炼成的

DeepSeek-V2:参数更多、能力更强、成本更低

ModelAPI

Model

APIPirce/1MTokens

Input$

Output$

DeepSeek-V2

0.14

0.28

GPT-4-Turbo-1106

10.00

30.00

GPT-4-0613

30.00

60.00

GPT-3.5

1.50

2.00

Gemini1.5Pro

7.00

21.00

Claude3Opus

15.00

75.00

Claude3Sonnet

3.00

15.00

Claude3Haiku

0.25

1.25

abab-6.5(MiniMax)

4.14

4.14

abab-6.5s(MiniMax)

1.38

1.38

ERNIE-4.0(文心一言)

16.56

16.56

GLM-4(智谱清言)

13.80

13.80

Moonshot-v1(月之暗面)

3.32

3.32

Qwen1.572B(通义千问)

2.76

2.76

LLaMA370B

3.78

11.34

Mixtral8x22B

2.00

6.00

不严谨估计,DeepSeek-V2以236B总参数、21B激活,大致达到70B~110BDense的模型能力,同时消耗的显存(KVCache)只有同级别Dense模型的1/5~1/100,每token成本大幅降低。实际部署在8卡H800机器上,输入吞吐量超过每秒10万tokens,输出超过每秒5万tokens。

DeepSeck-V2

GPT-4-Turbo-1106GPT-4-0613

GPT-35

Gemini1.5Pro

Claude3Opus

Claude3Sonnet

Claude3Haiku

abab-65(MiniMax)

abab-65s(MiniMax)

ERNIE-4.0(文心一言)GLM4(智语清言)

Moonshot-v1(月之培面)Baichuan3(面川)

Qwen1.572B(通文千干问LaMA3708

Motralax228

是否开源

开源

开源开源开源

中文综合AignBench

7.91

8.01

753

608

7.33

7.62

670

642

797

734

7.89

7.86

722

7.19

742

649

英文综合MT-Bench

8.97

9.32

896

821

893

9.00

8.47

8.39882

8.69

769

8.60

8.59

8.70

8.618.95

8.66

知识MMLU77.8

知识MMLU

77.8

84.6

864

70.0

81.9

86.8

79.0

75.279.5

74.6

922

930

920

57.1

91.7

950

923

88.991.7

873

91.3

81.587.6

81.5

895

81.7762

81.7

76280.3

77.8

81.9932

879

MATH

53.9

64.1

529

34.1

58.5

61.0

40.5

40.951.4

420

522

479

442

492

40.648.5

49.8

逻辑推理编程

B8HHumanfva

79.781.1

83.1

66.6

840

86.8

829

73.782.0

76.8

823

84.5

65.980.1

78.4

822

84.1

48.1

71.9

84.9

73.0

75978.0

683

720

720

829

70.1

689

762

75.0

·DeepSeek-V2API的定价为:每百万tokens输入1元、输出2元(32K上下文),价格仅为GPT-4-Turbo的近百分之一

●中文综合能力(AlignBench)开源模型中最强,与GPT-4-Turbo,文心4.0等闭源模型在评测中处于同一梯队

●英文综合能力(MT-Bench)与最强的开源模型LLaMA3-70B同处第一梯队,超过最强MoE开源模型Mixtral8x22B

●知识、数学、推理、编程等榜单结果也位居前列

中文推理任务

推理总分(SuperCLUE)

数学

(SC-Math6)

代码

(SC-Code3)

GPT-4Turbo

1106

80.14

90.71

69.57

通义千问

2.5

74.93

86.53

63.32

DeepSeekV2

74.46

86.39

62.52

Llama3

70B-instruct

73.17

83.77

62.57

/

SuperCLUE评测结果:

●结论1:

文档评论(0)

资料网上有哪些信誉好的足球投注网站整理,资料网上有哪些信誉好的足球投注网站整理,资料网上有哪些信誉好的足球投注网站整理。

1亿VIP精品文档

相关文档