苏锐-拥抱 AI，我们需要什么样的存储系统？.pdf

拥抱AI，

我们需要什么样的存储系统？

演讲人：苏锐

自我介绍

•苏锐

•2017参与创办Juicedata，负责商业化与社区发展工作

•之前做过Startupfounder，PM，TechLead等角色

/in/suave

目录

•用户视角下，存储系统选型的挑战有哪些？

•存储系统选型中的几个难题

•性能、价格的取舍与平衡

•一个LLM案例分享

什么是JuiceFS？

为云设计的分布式文件系统

•2017年创立；

•开源版：易部署，好维护。2021年发布，10.7Kstars

，最大文件系统超过70B文件100PB容量；

•企业版：2019年开始服务AI领域。GenAI、自动驾

驶、量化交易、生物科技、搜广推等业务广泛使用。

01用户视角下，

存储系统选型的挑战有哪些？

描述存储系统时，需要精确量化的形容词

我们经常用到下面这些词描述存储系统：

•大规模

•大量，海量

•大文件

•小文件

•高性能

•快，慢

•……

描述存储系统时，需要精确量化的形容词

我们习惯于参照过往经验选择形容词，但我们需要更精确的定义。

•大规模：什么规模，容量，还是文件数量？

•大量，海量：有人说我们有大量数据，已经超过50TB；有人说我们数据不多，只有1～

2PB。

•大文件：1MB,1GB,或者？

•小文件：10MB,1MB,100KB？

•高性能：最玄学的环节，

•快，慢：关键在于和谁比？快多少？慢多少？

•……

描述存储系统时，需要精确量化的形容词

•规模：要有容量，和文件数量的预期，很可能不容易准确预估，那是否需要弹性伸缩能力，扩

容对业务影响的容忍度如何？

•文件大小：大文件（1MB，越大越好）更需要存储系统的吞吐能力，小文件（1MB，目前很

多时候在128KB上下）更需要IOPS能力

•性能：主要关注吞吐（20GB/s）和IOPS（100KQPS），要关注

•扩展性

•天花板

•影响性能的因素

•调整的难易度

一个容量规划例子

•预期500TB容量；

•5亿文件规模；

•大文件是GB量级，小文件是100KB左右；

•读吞吐预估20GB/s，峰值40GB/s；

•写吞吐峰值10GB/s；

•100KIOPS；

•业务可能快速增长，在容量、文件规模、性能维度都需要容易扩展。

数据快速增长带来的挑战

CV领域LLM领域

•MNIST，70Kimgs，50MB•GPT，参数110M，文本5.7G

•ImageNet，1.5Mimgs，150GB•GPT-2，参数1.5B，文本40G

•OpenImages，9Mimgs，500GB•GPT-3，参数175B，文本45TB

•GPT-4，参数1800B，文本1PB

数据集越来越大，模型和Checkpoint也越来越大。

单机存储必须转为分布式存储，单机训练也必须转为分布式训练。

复杂的数据工作流

Megatron-LMMegatron-LM

ingest