2024年EMS弹性内存存储技术白皮书.pdfVIP

EMS弹性内存存储技术白皮书

ElasticMemoryServiceWhitepaper

文档版本01

发布日期2024-06-21

EMS存储服务技术白皮书目录

目录

1概述3

2背景和动机4

2.1AI技术的发展4

2.2AI场景中的存力痛点5

2.2.1持久化存储性能不足5

2.2.2DRAM利用率低6

2.2.3HBM内存墙6

2.3EMS的构建动机8

3产品架构和关键技术10

3.1软件架构10

3.2内存解耦池化11

3.2.1内存池融合部署架构11

3.2.2内存池分离部署架构12

3.2.3分级存储12

3.2.4数据冗余12

3.3面向AI推理的加速技术13

3.3.1以存代算14

3.3.2显存扩展15

3.3.3计算卸载16

3.4面向AI训练的加速技术16

3.4.1并行训练拓扑感知的检查点保存17

3.4.2基于NPU通信的检查点恢复18

3.4.3选择性检查点持久化18

3.5面向推荐模型的加速技术19

3.5.1Embedding池化存储20

3.5.2Embedding均衡打散20

3.5.3增量检查点21

4总结22

5缩略语23

文档版本01(2024-03-301)版权所有©华为云计算技术有限公司ii

存储服务技术白皮书1概述

1概述

基于大模型的生成式AI技术的重大突破推动了人工智能的应用范围从传统的分类任务扩展至广泛的

生成任务，引发了AI应用的爆发性增长，并引领IT产业迈入全新的“AI时代”。随着AI产业的迅猛发

展，云计算基础设施也在从以通用算力为核心向以智能算力为核心转变。在这种新型云计算基础设施中，

数据的“算力”和“存力”是相辅相成的。尽管云数据中心在智能算力方面取得了显著进步，但是在存

力方面的不足已成为制约效率的关键瓶颈。存力问题主要表现在三个方面：持久化存储性能不足、

DRAM利用率低、以及HBM内存墙问题。

为解决这些存力问题，华为云推出了全球首创的弹性内存存储服务EMS（ElasticMemoryService），

一种以内存为主要存储介质的云基础设施服务。通过EMS，华为云将传统的“计算-存储”分离的两层云

架构升级为“计算-内存-存储”分离的三层云架构，其中新增的“内存层”即为EMS。这种新型的三层云

架构能有效解决上述存力痛点，从而具有高资源弹性、高资源利用率和高性能等优势。具体来说，EMS

通过以下方式解决三大存力问题：1）作为计算与存储之间的高性能缓存层，使用DRAM介质缓存来自

HDD和SSD的数据，显著提升数据访问速度，解决“持久化存储性能不足”问题；2）将AI服务器中的

DRAM资源解耦并池化，形成EMS内存池，实现DRAM资源的按需分配和高效