DataFunSummit非数据中心GPU上的大模型并行训练.pptx

并行与分布计算全国重点实验室非数据中心GPU上的大模型并行训练

并行与分布计算全国重点实验室01研究背景

并行与分布计算全国重点实验室深度学习模型参数量呈爆炸式增长，对算力系统体系结构、系统软件提出了新的要求大规模并行与分布计算仍然是基础模型训练的主要手段，HPC与AI融合发展大规模训练的计算、通信、存储开销巨大，对并行模式和并行效率提出更高要求FedusW,ZophB,ShazeerN.Switchtransformers:Scalingtotrillionparametermodelswithsimpleandefficientsparsity[J].TheJournalofMachineLearningResearch,2022,23(1):5232-5270.并行训练基本方法基础模型参数量爆炸性增长一、研究背景:大模型并行训练

并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式数据并行(dataparallelism,DP)是将训练数据划分到多个设备,多个设备之间按照一定规则定期同步模型参数实现并行训练的一种方式数据并行方式下每个设备计算时都会使用有完整的模型参数数据并行将数据切分为多份，不同份的数据由不同的设备进行处理优点并行程序逻辑比较容易理解单次迭代中模型训练的数据总量增加，使得总的训练时间减少缺点为了保证收敛性，需要频繁的梯度同步通信一、研究背景:并行训练基本方法

并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式模型并行(modelparallelism,MP)训练是指将智能模型划分到多个计算单元的一种训练方式模型并行方式下每个设备上只有模型的一部分，张量并行、流水线并行均属于模型并行模型并行将数据切分为多份，每份数据需要所有设备进行处理优点降低了模型训练时对单卡的显存需求缺点较大的通信开销（常见于张量并行）较低的设备利用率（常见于流水线并行）一、研究背景:并行训练基本方法

并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式张量并行(tensorparallelism,TP)张量并行是将深度学习模型中的参数切分到不同的设备上，每个设备只负责计算部分参数，从而实现并行计算。模型的参数分配到不同的设备上，每个设备只负责计算部分参数。Transformer中将嵌入层和多头自注意力机制的部分参数切分到不同的设备上进行计算。一、研究背景:并行训练基本方法ShoeybiM,PatwaryM,PuriR,etal.Megatron-lm:Trainingmulti-billionparameterlanguagemodelsusingmodelparallelism[J].arXivpreprintarXiv:1909.08053,2019.

并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式流水线并行(pipelineparallelism,PP)将模型垂直分割成多个部分（称为“流水级”），每个流水级部署在一个或多个GPU上，数据在GPU之间按流水线方式流动。需要对流水线的操作进行调度,确保数据在各流水级间顺畅流动。因为数据依赖关系,设备计算会出现空闲(idle),称为流水线气泡(bubble),影响整体硬件利用效率。一、研究背景:并行训练基本方法HuangY,ChengY,BapnaA,etal.Gpipe:Efficienttrainingofgiantneuralnetworksusingpipelineparallelism[J].Advancesinneuralinformationprocessingsystems,2019,32.

并行与分布计算全国重点实验室并行训练基本方法主要分为数据并行,模型并行,混合并行等基本形式混合并行(hybirdparallelism)是指结合模型结构特点或智能计算系统体系结构特点,利用多种并行训练方法进行大规模深度学习模型的多维度并行训练混合并行方式下每个设备上只有模型的一部分混合并行将数据切为多份，每份数据需要部分或全部设备进行处理优点可以结合模型并行和数据并行的优点，实现高效的模型训练应对大模型训练的主要方法缺点难以找到性能优异的混合并行策略，使得混合并行的优势无法发挥出来一、研究背景:并行训练基本方法

并行与分布计算全国重点实验室数据中心GPU(A100,H100...)是目