字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化.pdfVIP

字节跳动EB级Iceberg数据湖的

机器学习应⽤与优化

谢凯/字节跳动基础架构研发⼯程师

谢凯/字节跳动基础架构研发⼯程师

•毕业于新加坡国⽴⼤学，曾就职于PayPalAIInfra

•从事数据湖、ML特征⼯程8年，取得过⼗余份该领域的专利

•⽬前在字节跳动负责Iceberg数据湖、FeatureStore样本存储的开发⼯作

Outline

•机器学习样本存储：背景与趋势

•Magnus:字节强化版Iceberg数据湖

•字节跳动EB级样本存储优化与实践

•总结与展望

机器学习样本存储：背景与趋势

机器学习与训练样本机器学习与训练样本-字节跳动场景

•总样本量达EB级，⽇增PB级，最⼤单表150PB

•⽀持⼴告、有哪些信誉好的足球投注网站、推荐等模型训练与迭代，覆盖抖⾳、头条、⻄⽠、⼩说等业务

•⽀持特征调研、特征⼯程

机器学习与训练样本机器学习与训练样本-趋势

•模型越来越⼤，样本也是

•训练算⼒越来越强

•特征⼯程越来越⾃动化、端到端化

机器学习与训练样本机器学习与训练样本-语⾔模型趋势

以语⾔模型为例模型参数样本⼤⼩（token数）训练计算（FLOPs）

BERT(2018)3.4亿2500亿5.33E+20

GPT3(2020)1750亿3000亿3.14E+23

Chinchilla(2022)700亿14000亿5.76E+23

PaLM(2022)5400亿7800亿2.5E+24

GPT4(2023)10000亿(未证实)未知未知

机器学习与训练样本-问题

•模型越来越⼤，样本也是•如何更多节省存储空间？

•训练算⼒越来越强•如何提⾼样本读取吞吐、填饱算⼒？

•特征⼯程越来越⾃动化、端到端化•如何加速新特征调研与⼯程流程？

传统样本存储⽅案

MySQL、MongoDB

存储与其能⼒直接存放HDFS、对象存储Hive

等数据库

⽂件扫描List海量样本困难List海量样本困难⽆法直读⽂件

Schema管理缺乏统⼀Schema管理Schema-on-write，较严格Schema-on-write/Schema-less

海量存储⾏存格式空间列存格式的较节省难以⽀持海量样本存储

⾏存不⽀持列裁剪

读性能列裁剪+向量化读读吞吐受限