基于云原生的人工智能训练业务监控系统设计.pdfVIP

与

智能技术信息技术信息化

基于云原生的人工智能训练业务监控系统设计

11111111

孙辽东王超陈培王德奎李世刚张书博荆荣讯王文潇

摘要近年来，人工智能技术不断发展，已经在各个领域得到了广泛的应用和推广，成为推动社会进步和经济

发展的重要引擎。但如何有效地对训练过程进行全程监控，保持系统稳定可靠，提高开发效率和效果，

是人工智能技术开发应用过程中的关键问题。通过构建一种针对云原生人工智能业务的监控报警系统，

实现全流程的监控，解决当前人工智能开发过程中由于硬件故障、网络通信故障、软件故障导致训练中

断的问题，提高系统的灵活性、可靠性和效率。从云原生人工智能业务监控系统的现状和问题出发，提

出了包括监控/报警管理、数据采集、数据存储、数据分析、报警引擎等关键环节在内的基于人工智能

业务负载的全流程监控技术实现方案。实验结果表明，所提出的基于全流程监控的云原生人工智能业务

监控系统方案具有较高的实用性和可行性，可以有效地提高算法人员模型训练效率、提升系统可靠性和

稳定性。所提出的研究成果为人工智能开发领域的监控问题提供了一种解决方案，具有一定的借鉴意义

和推广价值。

关键词人工智能；训练全流程监控；监控模块；报警模块；云原生

doi：10.3969/j.issn.1672-9528.2024.01.041

0引言算能力、软件资源可用性等问题，都有可能会导致任务中断

和资源浪费。在大规模集群场景下尤为突出。因此，全流程

近年来，随着人工智能技术的不断发展，越来越多的企

监控的云原生人工智能业务监控系统是十分必要的。

业和组织开始使用基于云原生技术的人工智能开发平台进行

其次，目前绝大多数的人工智能框架和基于云原生的人

模型的开发。其中，模型训练是人工智能应用开发的重要环

工智能平台自动化程度还不够高，当出现故障导致训练中断

节，对训练过程的稳定性和持续性要求非常高。在实际训练

时，用户需要花费大量的时间排查故障原因，然后重新分配

过程中会经常由于多种原因导致训练中断，如硬件故障、网

资源来重新训练，这些都能导致浪费计算资源和时间并且难

络通信故障等。以上这些意外情况如有及时的监控系统支撑，

以追溯训练过程。如果能够提供自动化识别故障的能力，根

提供有效资源信息给决策系统，则能快速处理异常情况，帮

据故障类型重新调度分配资源与训练过程快速恢复，将会大

助深度学习任务及时停止和恢复，尤其巨量参数大模型训练

大降低训练消费的成本。

场景下，保障任务的健壮性和稳定性是降低训练成本的有效

手段。2云原生人工智能训练业务监控系统

1研究背景本文提出一种云原生人工智能训练全流程监控系统，解

决当前人工智能开发训练中存在的缺陷和问题，包括监控指

当前，国内外已