华为昇腾DeepSeek解决方案设计.pptx

华为昇腾AI解决方案

把握DeepSeek时刻，携手同行;

华为昇腾AI基础软硬件介绍;

NLP

自然语言处理

2017谷歌发布首个Transformer架构模型

2012AlexNet

模型能力突破

开启CV时代

2015Resnet

效率与成本双突破

CV全面普及

·DS对强化学习的创新使用，可以让大模型便捷的获得通用性+专用性，可以满足各应用场景需求

·DS对通过从模型结构到训推全流程的极致工程优化，大幅提升AI的计算效率，提升模型落地经济性;

低成本

绕过CUDA挖掘FP8硬件潜力，MOE和MLA技术实现不到10%的成本方案

~150M$

Llama3.1-405B训练

成本;

(Qwen/LLaMa1.5B7B14B32B70B)

5HuaweiProprietary-RestrictedDistributionHUAWEI;

具体实现;

TorgetToken

Crowntropyloss

MainModal

ntblenmaschony

OutputHead

TransformerBlock

tinearProjection

TransformerBlock×L

RMSNomRMSNorm

Embeddnglrer

mputTokenstt;

DualPipe:双流并行优化计算和通信，All-to-AlI通信开销接近0

MLP可▲RM2FAATTNB)4ATTNW平TTNFA

DSPATCHDtnTCH)ACONNEFA→PosaDTA

Tm

△FowardchunkBwardchunk

Figure4|Overlappingstrategyforapairofindividualforwardandbackwardchunks(the

boundariesofthetransformerblocksarenotaligned).Orangedenotesforward,greendenotes

backwardforinput,bluedenotesbackwardforweights,purpledenotesPPcommunication,;

DeepSeek通过从模型结构到训推全流程的优化，带来大模型新范式

DeepSeekV3/R1,大幅提升从训练到推理的计算效率，降低模型创新及应用落地的门槛;

关注高效、稳定、开放的底座

·极致性能、稳定可靠的AI集群

·深度开放的平台和生态

·极致的端到端性能效率优化

Claude2

Llama3-70B②

Baichuan2-13B

DeepSeek-V3-671B

GLM-130B

DeepSeek-R1-671B

关注便捷、易用???性价比的平台

DeepSeek-R1-Distill-Qwen-32B

·开箱即用的强化学习套件

·兼顾成本与性能的蒸馏/微调方案

AlexNet;

金融交通教育医疗电力油气制造

云服务硬件+社区一体机

钉钉一体机

电信息壤一体机

昇腾社区