加速云端机器学习-Alluxio在小红书的实践-2024大数据大模型峰会.pdf

加速云端机器学习-

Alluxio在小红书的实践

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

李亚斌小红书大数据技术专家

DataFunCon#2024

Contents

目录

面临的挑战小红书实践案例

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

多云数据加速层未来规划

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

01面临的挑战

小红书多云业务架构

特点

•多云架构，成本优势明显，

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

但业务通信链路复杂

•不同region之间rt差异大

•专线容量稀缺

痛点

•机器学习训练慢，CPU/GPU利用率低

•推荐召回索引分发慢，业务稳定性差，成本高昂

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•60亿+小文件，如何能够低成本训练

•AI模型从百GB变大到TB级，磁盘存储成本高，加载慢

•专线传输压力大

02多云数据加速层

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

构建多云统一数据加速层

选型目标

•能够复用业务已有数据，无需进行

数据搬迁

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•支持S3\POSIX协议，便于各业务无

缝对接

•能够实现数据的跨云传输带宽控制

和节省

•能够支撑百亿级文件的AI训练

•支持常见的云存储产品

Alluxio架构

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

Alluxio主要特性

主要特性

•格式透明：不侵入业务数

据存储格式

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•协议兼容：支持

S3\POSIX\HDFS等协议

•多云统一视图：数据仅需

通过专线传输一次，后续

可通过缓存就近读取

多协议兼容

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

03小红书实践案例

机器学习训练原架构

问题

•训练慢，集群CPU利用率低

原因“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

•热点数据集，扇出大

•Tbps级流量，触达对象存储桶

带宽瓶颈

•直连对象存储，单线程性能低