2025大模型训练性能瓶颈定位流程案例.pdfVIP

MindStudio

7.0.0

大模型训练性能瓶颈定位流程案例

文档版本01

发布日期2025-01-13

安全声明

产品生命周期政策

华为公司对产品生命周期的规定以“产品生命周期终止政策”为准，该政策的详细内容请参见如下网址：

/ecolumnsweb/zh/warranty-policy

漏洞处理流程

华为公司对产品漏洞管理的规定以“漏洞处理流程”为准，该流程的详细内容请参见如下网址：

/cn/psirt/vul-response-process

如企业客户须获取漏洞信息，请参见如下网址：

/enterprise/cn/security-advisory

华为初始证书权责说明

华为公司对随设备出厂的初始数字证书，发布了“华为设备初始数字证书权责说明”，该说明的详细内容请参

见如下网址：

/enterprise/zh/bulletins-service/ENEWS2000015766

华为企业业务最终用户许可协议(EULA)

本最终用户许可协议是最终用户（个人、公司或其他任何实体）与华为公司就华为软件的使用所缔结的协议。

最终用户对华为软件的使用受本协议约束，该协议的详细内容请参见如下网址：

/cn/about/eula

产品资料生命周期策略

华为公司针对随产品版本发布的售后客户资料（产品资料），发布了“产品资料生命周期策略”，该策略的详

细内容请参见如下网址：

/enterprise/zh/bulletins-website/ENEWS2000017760

文档版本01(2025-01-13)版权所有©华为技术有限公司ii

MindStudio

大模型训练性能瓶颈定位流程案例目录

目录

1常见性能问题场景1

2问题定位方法2

2.1性能问题定位流程2

2.2AscendPyTorchProiler采集性能数据3

2.3MindstudioInsight定位4

3性能调优案例9

3.1案例描述9

3.2MindStudioInsight分析定位9

3.3msttadvisor辅助定位11

文档版本01(2025-01-13)版权所有©华为技术有限公司iii

MindStudio

大模型训练性能瓶颈定位流程案例1常见性能问题场景

1常见性能问题场景

大模型从外部设备迁移到昇腾设备，并在昇腾设备上训练的过程中，可能会出现性能

问题。常见的两大性能问题场景是开箱性能优化场景和性能长跑劣化场景。

●开箱性能优化：主要是用户在昇腾平台使用模型时，发现性能差，直接进行性能

层面的优化。

●性能长跑劣化：一般是用户在训练过程中，由于不可预知的引入，导致模型出现

了一些性能劣化的问题，需要定位性能劣化的原因，并解决问题。

图1-1场景介绍

文档版本01(2025-01-13)版权所有