中国AI算力行业发展报告2024 -全面拥抱智算时代的生产力.pptx

Part04

实践落地，AI算力应用的新标杆

Part05来日方长，AI新世代下的不断探索

Part02层见叠出，复杂工程需要多样手段解决

Part01时代动力，AI新世代繁荣的发动机

Part03各取所需，市场激发AI算力的选择思考

目录

2

2024.12

模型规模指数级增长推动算力需求爆发

●GPT-4●ChatGPT

1e+4

AlphaGoZero

1e+3

NeuralMachine

Translation

1e+1

TI7Dota1v1

Xception

1e+0

DeepSpeech2

●ResNets

Seq2Seq

GoogleNet

1e-3

1e-4

201520162017201820192020202120222023

纵观AI发展，算法的技术突破拉动了算力的需求

2015-2016年左右开启了大模型时代，整体的训练计算量较之前的时期大2到3个数量级。从2022年底，随着ChatGPT成功带来大规模参数通用大模型相继发布。

这些大模型的训练需要千亿、甚至万亿级参数，以及上千GB的高质量数据，大模型的训练迭代将极大地拉动了智能算力的需求。

2012-2023年算力需求翻了数十万倍，AI算力需求远超摩尔定律，大模型对算力的需求每年持续增长，未来10年AI算力需求将再增长500倍。

●GPT-3

AlphaZero

VGGVisualizingand

UnderstandingConvNets

AlexNet

深度学习不断取得进展，算力翻倍仅需要5.7个

月，所需算力量级由TFLOPs增至EFLOPs

深度学习时期之前，训练计算算力需求缓慢增长，

算力翻倍需要21.3个月

数据来源:《

2010-2022

2012

1e-1

1e-2

无论是训练还是推理，大模型的爆发引发全球算力需求的指数级增长

技术层面上，基础模型通过迁移学习（TransferLearning）和规模（scale）得以实现；Transformer的应用标志着基础模型时代的开始（基础模型的庞大规模和应用范围突飞猛进），模型参数量指数级增长，带动算力超过摩尔定律。

Sora等视频生成类模型相较于大语言模型消耗的算力提升20倍。随着海量数据的积累，大模型需要处理的数据量也在不断增长，进一步加剧了对算力的需求。

ideo)

GPT4(

10000text

tokens)

DiT-XL/2IGeneratio

mage

n(512x512p

ximages)

1025

1023

1021

1019

1017

1015

Transformer结构对于基础模型训练算力需求的推动作用

1e+09

1e+08

1e+07

1e+06

1e+05

1e+04

1e+03

1e+02

基于Transformer结构算

法训练所需算力短时间内

激增，远超摩尔定律

推理消耗算力对比（单位：FLOPS）

1e+09

1e+081e+071e+061e+051e+041e+031e+02

0.00.20.40.60.81.0

基于Transformer结构算法与时间的关系

Transformer

摩尔定律与时间的关系

Sora(1min

PFLOPs

PFLOPs

2024.12

从产业规模看，全球人工智能快速增长。2023年全球人工智能市场收入达5381亿美元，同比增长18.5%，到2026年市场规模将达9000亿美元。 从投融资看，2024年Q1全球AI领域完成1779笔融资交易，筹集的风险投资总额达216亿美元。

从企业发展看，全球人工智能呈现“中美主导”格局。截至2023年三季度，全球人工智能企业有29542家。美国有9914家，占比为34%；中国有4469家，占比

为15%；中美人