大模型场景下智算平台的设计与优化实践.pptx

大模型场景下智算平台的设计与优化实践肖松2024.06.14

国产卡怎么用？能否与NV卡一起使用？我资源比较少，几十卡的规模，如何提升卡的利用率？我的模型跑起来耗时长，能加速吗？我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？引言不同时期对智算平台的需户A客户B客户C客户D2

01大模型时代，智算平台新特点402智算平台需解决的问题603大模型场景技术实践804对于智算平台发展的未来思考25目录

01大模型时代，智算平台新特点小模型vs.大模型

训练时长训练成本参数1800B算力8192块H100大模型时代，智算平台新特点小模型vs.大模型数据13T*数据来源：非官方数据，为业界推测增强：参数爆炸突破显存墙，多机多卡成为常态增强：卡间和机间高性能通信愈发重要维持：GPU切分在小模型和推理场景依然存在新增：新卡适配和芯片利旧，多芯混合调度增强：耗时长凸显大模型训推加速需求新增：成本高带来稳定性需求，减少资源闲置新增：数据集处理加速新增：数据湖存储和高性能存储55天158秒$2150万$15参数25M（0.025B）ResNet50（小模型）算力128块V100GPT-4（大模型）数据167G（ImageNet）训练时长训练成本工程问题新要求vs.5

02智算平台需解决的问题基础设施、调度、应用、运维

任务管理?多种AI框架和并行策略支持?AI任务调度和任务流管理?云原生容器化运维资源管理?大规模异构算力高效调度和分配?算力虚拟化算力?适配多种异构芯片?固件、OS内核、驱动兼容?混合多芯存储?优化存储读写性能?镜像加速、镜像预铺网络?搭建和调试高性能网络智算平台需解决的问题调度应用基础设施?训练任务的性能优化?任务的监控和容错?FlashCheckpoint?数据集下载和转储加速?数据集的清洗和加工处理?推理任务的性能优化?在线服务的监控告警基础设施、调度、应用、运维推理数据训练百度智能云7

03大模型场景技术实践基础设施层

基础设施——混合多芯国产卡能否与NV卡一起使用？拟合性能系数统一并行策略AI效能矩阵图谱通信整合9

TCP镜像加速超大镜像预加载P2P镜像分发流式镜像拉取训练数据加速高性能并行文件系统全SSD闪存RDMA链路加速模型加速大吞吐数据湖存储分布式缓存加速托管BCC/BBC集群如何实现数据集加速？如何I/O加速？ 镜像服务流式读取P2P加速对象存储BOS标准存储低频存储冷存储归档存储基础设施——高性能存储分布式缓存加速存储RapidFS并行文件存储PFSTCP/InfiniBand/RoCEMEMDISKEMEMKDISKDISKDISMEMMM10

3层无收敛RDMA网络UptoUpto512512Upto16K+Tor拓扑感知调度NCCL通信拓扑感知基础设施——高性能网络如何实现通信库加速？

03大模型场景技术实践调度层

用户态方案CUDAdriverAPI，提供显存限制，算力时分复用CUDAruntimeAPI，提供远程调用，显存限制，算力时分复用内核态方案内核模块修改，提供显存限制，算力时分复用Full/para-虚拟化，内核模块修改，MMIO拦截，显存划分，算力时分复用NV官方，硬件划分，提供显存划分、算力划分、编解码划分（1/7）SR-IOV，硬件划分，提供显存划分、算力划分（1/3、1/2）调度——GPU虚拟化如何提高单卡资源利用率？NvidiaMIG昆仑2SR-IOV硬件方案13

调度——GPU虚拟化双引擎GPU虚拟化优势：性能好，长尾延迟低缺点：故障隔离差优势：故障隔离好缺点：有一定性能损耗用户态内核态14

调度——资源管理和调度逻辑如何调度资源？PodGroup Pdd配额管理资源调度RDMA异构芯片(独占/共享)CPU/MEM