数据03- 《快手离线数据全链路分级保障平台化建设》.pdfVIP

快手离线数据全链路

快手|标题标题标题

分级保障平台化建设

张蕤-快手数据技术专家

-1-

讲师介绍

张蕤快手数据技术专家

照片

•主要负责数据开发平台建设

•关注数据开发、数据质量等领域

-2-

背景-快手数据平台

以领先的大数据技术，激活数据价值，赋能业务，打造快手核心竞争力

通过Top大数据技术支撑万亿级实时数据，为公司各类团队提供极其简单、丰富且靠谱的数据

服务，保障DA战略技术落地，从而为公司数据创新赋能，驱动快手业务蓬勃发展

30000+3000PB+5PB+30W+

集群规模总数据量日摄入量日作业数

-3-

背景-离线数据链路

离线链路

-4-

背景-离线数据链路

15W+30W+

广告

例行任务量每日任务实例数

游

直播戏

短视频

15+2000+

海外

电商最大链路层级重要链路任务数

A站

-5-

春节活动离线链路-挑战

数据多