2024全球架构师峰会-B站容器平台混部和容量管理实践.pdf

B站容器平台混部和

容量管理实践

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

B站资深开发/许龙

大纲

•各类混部场景的实践方案

•CPU在离线混部：在线+转码、在线+大数据

•CPU潮汐混部：推搜+大数据

•GPU常态混部：推理+转码

•GPU潮汐混部：推理+训练

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

•容量管理的实践方案

•弹性伸缩：VPA和HPA

•合池：quota管理、算力标准化

•容量运营与可视化

B站容器平台架构

在线业务离线业务

•CPU核数：百万级

业务层

…

主站直播广告电商…视频转码AI训练大数据

•除部分大数据、中间件外全部容器化

平台层发布平台机器学习平台边缘计算平台批处理平台

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。集群管理

资源调度容量管理混部框架

容器