Paimon StarRocks，共话实时湖仓架 -Apache Paimon V0.9 必威体育精装版进展.pdf

ApachePaimonV0.9

必威体育精装版进展

李劲松(之信)/PaimonPMCChair

StreamingLakehouseMeetup

关于“我”

•电子科大毕业后，入职阿里云近10年

•2015-2017流计算调度、编程API相关(Committer)

•2017-2020Flink流批SQL计算(FlinkPMC成员)

•2020-2022大数据存储与计算结合(Committer)

•2022-现在负责研发

Paimon：飞速发展的2024

2024

阿里集团Alake数据湖战役：

Paimon统一存储：十万+FlinkCores

2023-2024

2023：进入孵化器引发关注2024

2024：正式毕业成为ApacheTLP项目

阿里云OpenLake战役：

计算引擎+Paimon完整对接一流性能

20222024

诞生：阿里、蚂蚁、同程旅行、字

瞄准CDC入湖更新场景节、汽车之家、喜马拉雅、唯

在Flink社区写了第一行代码品会、VIVO、快手、网易、联

通

Paimon在越来越多公司、越来越多场景，帮助业

务更实时、更开放、成本更低

Paimon：0.9Features

核心挑战是什么？

1.主键表Native化查询，非主键表支

持轻量化DELETEUPDATE

2.兼容Iceberg生态，与AI结合，

PythonAPI

3.优化对象存储文件IO，元数据缓

存，文件格式与压缩

挑战一：更新与查询时合并

MergeOnRead更新数据=查询慢

CopyOnWrite更新数据=写入慢

MergeOnWrite:

写时标记老文件哪些行被删除

Deletionvectors：非主键表

1.INSERT:写新的数据文件

2.DELETE：标记老文件哪些行被删除

3.UPDATE:DELETEINSERT

Deletionvectors：主键表

DVLSM

在LSM结构中融入DV的维护

•LSM点查能力删除数据

•支持异步Compaction

•支持过滤下推到文件

•解放查询的并发限制

•支持查询Native加速