2025大模型训练性能瓶颈定位流程案例.docx

MindStudio7.0.0

大模型训练性能瓶颈定位流程案例

大模型训练性能瓶颈定位流程案例 目录

目录

常见性能问题场景 1

问题定位方法 2

性能问题定位流程 2

AscendPyTorchProfiler采集性能数据 3

MindstudioInsight定位 4

性能调优案例 9

案例描述 9

MindStudioInsight分析定位 9

msttadvisor辅助定位 11

大模型训练性能瓶颈定位流程案例 1常见性能问题场景

1常见性能问题场景

大模型从外部设备迁移到昇腾设备，并在昇腾设备上训练的过程中，可能会出现性能问题。常见的两大性能问题场景是开箱性能优化场景和性能长跑劣化场景。

开箱性能优化：主要是用户在昇腾平台使用模型时，发现性能差，直接进行性能层面的优化。

性能长跑劣化：一般是用户在训练过程中，由于不可预知的引入，导致模型出现了一些性能劣化的问题，需要定位性能劣化的原因，并解决问题。

图1-1场景介绍

2问题定位方法

性能问题定位流程

AscendPyTorchProfiler采集性能数据MindstudioInsight定位

性能问题定位流程

大模型训练的基本性能调优流程如下：图2-1基本性能调优流

性能调优最重要的就是对症下药，先定界问题，再对问题进行针对性优化。

首先进行性能数据采集，可以使用AscendPyTorchProfiler提供的接口进行数据采集和解析；

接下来，使用MindStudioInsight可视化工具定界性能问题，定界结果通常分为计算、调度、通信三个方向的问题；

除此之外，用户还可以直接使用mstt中的Advisor工具辅助定位问题，Advisor工具通过内置的案例集，自动对性能数据进行分析，并输出性能调优建议；

最后，用户可以针对不同问题使用对应的调优手段进行调优，每次调优后重跑训练，采集性能数据，使用MindStudioInsight可视化工具查看调优手段是否产生效果。重复这个过程，直到解决性能问题。

AscendPyTorchProfiler采集性能数据

AscendPyTorchProfiler是大模型在AscendPyTorch框架下训练过程中提供的一套采集性能数据的API接口，能够采集到框架侧、CANN侧和device侧的原始性能数据，并完成解析。在训练脚本（如train_*.py文件）内插入torch_npu.profiler相关采集、解析的配置和参数，再启动训练，即可采集性能数据。

importtorchimporttorch_npu#Profiler采集、解析的前置配置参数experimental_config=torch_npu.profiler._ExperimentalConfig(export_type=torch_npu.profiler.ExportType.Text,profiler_level=torch_npu.profiler.ProfilerLevel.Level0,msprof_tx=False,aic_metrics=torch_npu.profiler.AiCMetrics.AiCoreNone,l2_cache=False,op_attr=False,data_simplification=False,record_op_args=False,gc_detect_threshold=None)#

importtorchimporttorch_npu

#Profiler采集、解析的前置配置参数

experimental_config=torch_npu.profiler._ExperimentalConfig(

export_type=torch_npu.profiler.ExportType.Text,profiler_level=torch_npu.profiler.ProfilerLevel.Level0,msprof_tx=False,aic_metrics=torch_npu.profiler.AiCMetrics.AiCoreNone,l2_cache=False,

op_attr=False,data_simplification=False,record_op_args=False,gc_detect_threshold=None

)

#大模型训练的次数

steps=7

withtorch_npu.profiler.profile(activities=[

torch_npu.profiler.ProfilerActivity.CPU,torch_n