面向智算服务构建下一代可观测Pipeline.pptx

目录01云原生智算服务关键技术02智算服务可观测需求与挑战03下一代可观测Pipeline04智算服务可观测Pipeline技术实践未来展望05

云原生智算服务关键技术

AI在计算机视觉、语音、NLP等领域取得突破，已深入影响各行各业，并催生出了自动驾驶等领域。AI服务上云形成趋势，深度学习/AIGC应用广泛采用容器等云原生技术。深度学习的特点端到端流水线–Rawdatain,executablemodelout持续迭代优化–梯度下降,超参数调优,Prompt工程任务长时运行–小时/天/周/月消耗海量数据和大量算力数据准备模型构建模型推理模型训练调优提效开发探索持续发布弹性

大模型对基础设施服务能力的挑战是阶跃式的。对“规模、性能、效率”的要求，成为LLM/AIGC快速落地的高门槛。效率资源效率：高利用率、弹性可扩展工程效率：持续快速迭代性能训练：单卡-分布式、混合并行加速推理：模型优化、服务质量Qos规模算力：千卡GPU任务，万卡集群数据：PB级存储，TB级吞吐网络：800Gbps–3.2TbpsRDMA模型参数量每年10倍指数级增长

异构硬件AI工程通常需要多样化的硬件支持。动态分布式计算AI工程中的计算需求常常具有高度的动态性，如模型训练和推理负载会随数据量和算法复杂度变化。资源隔离性AI工程通常涉及多个团队，不同任务需要独立的资源隔离，避免资源竞争导致性能下降。环境一致性AI工程需要在不同环境（如开发、测试和生产环境）中保持一致性。快速迭代AI模型和算法需要频繁更新和快速迭代。设备插件灵活扩展支持各种设备插件，允许轻松将不同类型的硬件资源集成到集群中。资源调度与弹性伸缩K8s强大的调度能力，根据实际负载自动调整Pod数量，实现计算资源的动态分配与回收。命名空间与资源配额通过命名空间和资源配额确保不同任务的资源独立性。容器化应用管理通过容器化技术，确保在不同环境中运行的AI应用具有一致的运行环境，避免因环境差异引发的问题。持续集成与持续部署（CI/CD）与CI/CD工具的集成，支持自动化构建、测试和部署流程。AI工程

计算网络存储GPUDevice-PluginRDMA网络CPU、内存海量小文件数据集读取Checkpoint大文件读写

传统架构资源管理分散、资源利用率低无法弹性伸缩生产流程割裂、效率低团队协作、共享困难AI工程向云原生架构演进云原生架构的容器服务支撑AI智算基础底座云原生架构资源池化：弹性、灵活生产流程高效闭环可观测手段丰富多角色协同，加速迭代更快的创新与迭代更高的稳定性更弹性的算力AI工程平台GPU池存储池开发模型 训练模型 发布模型在云原生架构的Kubernetes集群中管理调度GPU、NPU、RDMA等高性能异构资源，以容器化方式开发、运行AI、大数据任务，部署AI推理服务。到2025年，接近50%的企业内部的数据密集型或性能密集型计算工作负载都将迁移到云原生架构上。

云原生AI利用云计算的弹性资源、异构算力以及容器、自动化、微服务等云原生技术，提升AI/ML的工程效率，降低整体成本，提高可扩展性，并实现端到端的解决方案。统一任务调度保障规模与性能统一资源管理持续优化利用率AI异构工作负载框架算法与场景TensorflowPytorchDeepspeedHuggingfaceLangchainDocker Kubernetes Kubeflow Kserve Fluid MLFlow统一工作流，统一调度统一管理

GPU异构管理与弹性伸缩GPU共享单卡共享：模型推理场景多卡共享：分布式模型训练GPU监控GPUExporter+NodeProblemDetector

All-or-Nothing任务任务组（Gang）内的所有任务必须同时调度和执行将任务打包到尽可能少的节点上，提高资源的使用效率。解决多租集群固定资源分配下，不同用户使用周期不同导致资源浪费问题。

智算服务可观测需求与挑战

GPU坏卡检测自愈模型性能优化资源利用率提升AI生产环境稳定性保障

云原生智算服务系统分层架构生态扩展、集成云IDC容器平台异构资源管理高性能计算、存储、网络任务调度和流水线AI作业生命周期管理任务性能优化可观测数据驱动工具链、APIAI框架和运行时优化人工智能平台PAI（PaaS）容器服务ACK（CaaS）智算服务PAI-灵骏（IaaS）CPU利用率、GPU利用率、GPU监健康状态、磁盘利用率、存储(CPFS)I/O、网络(RDMA)、GPU物理指标云资源监控Workload可观测、控制面