哔哩哔哩数据服务中台建设实践.pdfVIP

2023DataFunCon

BILIBILI数据服务中台建设实践

演讲人：孟帅帅—哔哩哔哩—资深开发工程师

Contents

目录

建设背景中台框架实践方案成果规划

01建设背景

背景

成本⾼

•数据应用路径长，沟通成本高

•多种角色重度参与，人力成本高

•模型重复建设，资源开销大

治理难

获取:“upID”+“收⼊”

•数据链路不清晰，上游数据变更无法评估影响

•数据质量监控不到位，质量问题难以发现

•不同链路，口径难以对齐，用户理解成本高

背景

…重复建设

⽤户A⽤户B⽤户C⽤户N

•数据重复存储、消费，资源浪费

需求A需求B需求C需求N

•功能重复建设，人力资源浪费

数据探查数据产品B数据产品C数据产品N低效交付

•烟囱式开发、服务质量不可控

SQL⼿动取数RD定制开发RD定制开发RD定制开发

•交付标准不统一，数据使用效率低

HiveMySQLIcebergTiDBCK

解决思路

§通过建立数据标准及指标体系，统一业务对数据的

统一定义认知与理解，实现数据的标准管理

§通过自动化、半自动化的方法，统一数据的加工生产

⼀站式统一生产过程，让数据的血缘关系更加清晰，提升数据生产的

效率，避免数据重复建设。

统一消费§通过建立通用的数据服务网关，实现数据查询出口

统一、保障公司通用数据产品指标数据准确性与一