为大规模AI构建高效数据基础设施的技术挑战与实践 2024-11（24页）.pptxVIP

为大规模AI构建高效数据

基础设施的技术挑战与实践

;;

AI数据存储的特点;;

AI全流程与存储对照;

AI存储在混合云场景下

面临的技术挑战;

/artificial-intelligence

1.计算资源需求：随着数据点和参数的增加，训练这些模型所需的计算资源和时间大幅提升。

2.性能提升：更大的数据集和更复杂的模型通常可以提高模型的性能，使其在各种任务中表现得更加出色。

3.挑战：虽然更大的数据和参数量可以提升性能，但也带来了数据管理、训练时间、模型部署和环境影响等方面的新挑战。;

模型算力需求提升;

时效性

全量、增量更新

预热能力

缓存能力、淘汰能力安全技术

吞吐能力;;

CubeFS支撑AI存储

的技术要点与实践;;

CubeFS架构

关键特性

?多协议（S3,HDFS,POSIX）兼容

?多引擎：副本/纠删码

?可扩展、强一致性?云原生

?数据智能分层

?加速能力（RDMA、缓存）;

可用性

元数据子系统采用三副本的策略,可用性从99.9%提升至99.99%。;

统一存储底座：不同业务系统的数据的第一个落脚点。

数据互通：多协议共享一套数据，提高数据流转效率。;

混合云冷热分层技术;

共享内存环：数据拷贝到sendbuf中，再通

过RDMAwrite直接高效的写入到recvBuf中。

更高的数据写入效率：数据的传输过程绕过内核和协议层之间的数据拷贝，全程不需要CPU接入。

收益：写链路30%左右的性能提升;;

分布式缓存技术

?RESNET18：使用1个和16个

Dataloader工作线程时，性能分别提高了360%和114%。

?AlexNet显示，使用16个和24个

Dataloader工作线程时，性能分别提高了130%和80%。

?相比私有云部署也有12%~27%的性能提升

。;

DataLoader：让训练数据的读取过程和模型的训

练过程并行起来，从而提升GPU的训练效率。

训练数据预加载:通过批量下载提前将下一批次的训练数据加载到内存；绕过内核。;

面向AI存储构建下一代

混合云存储的方案;;;

THANKS

大模型正在重新定义软件

LargeLanguageModelIsRedefining

TheSoftware