黄坚：大规模智算集群的管理与性能调优实践.pdf

下载文档

1
0
约9.47千字
约 24页
2024-09-25 发布于北京
举报
版权申诉
保障服务

黄坚：大规模智算集群的管理与性能调优实践.pdf

1、本文档共24页，可阅读全部内容。
2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

大规模智算集群的管理与性能调优实践

天翼云云网产品事业部研发专家黄坚

演讲嘉宾介绍

黄坚天翼云研发专家

研发方向：云原生、AI算力基础设施

重点关注：

•AI智算平台研发工作

•大规模智算集群的性能诊断和调优

•国产算力生态适配

•大规模智算集群的痛点问题

•运维及管理实战思路和方案

•云骁智算平台及落地实践

•智算平台未来展望

•大规模智算集群的痛点问题

•运维及管理实战思路和方案

•云骁智算平台及落地实践

•智算平台未来展望

大模型分布式训练

模

型

并

行

Ref:Megatron-LM:TrainingMulti-BillionParameterLanguageModelsUsingModelParallelism

大模型分布式训练

流水线并行

•计算密度大模

型

•显存要求高并

行

•通信占比大

算力标准化程度非常高数据并行

智算集群工程化交付

大规模智算交付：6阶58步

1LLD设计2安装与初始化3部署调测4集群验证5集群优化6验收整改

1.1设计文档获取2.1设备安装与上架3.1管理交换机配置4.1配置检查5.1物理链路检查6.1表格准备

1.2IP资源获取2.2保压测试3.2NPUOS安装4.2单机综合测试5.2性能瓶颈分析6.2测试报告准备

1.3初始化要求获取2.3设备上电

您可能关注的文档

文档评论（0）

职场向未来 + 关注: 实名认证

内容提供者

嗨，朋友，我是你们的小可爱—"职场向未来"！我是一个专注于职场发展和个人成长的公众号，无论你是新人还是老鸟，我都会用最可爱的语言和最实用的内容，帮助你更好地理解和应对职场中的各种挑战！一起成长向未来！

咨询Ta 进入空间

1亿VIP精品文档

更多 >

黄坚：大规模智算集群的管理与性能调优实践.pdf