大数据质量保障体系探索.pdf

大数据质量保障体系探索

张旭东｜快手

01商业化数据业务介绍

目数据质量保障-测试基建

C

02

O

N

T

E数据质量保障-测试执行

N

03

录T

S

04数据质量保障-稳定性保障

05数据质量保障-总结展望

商业化数据业务介绍

商业化数据服务于整个广告生态，基于业务过程抽象出数据内容，将

数据内容赋能于业务的精细化运营、诊断、广告的投放、出价策略、管

理决策等等

商业化数据业务介绍|挑战

数据上报QPS单日报表记录数小时级数据增量天级数据增量

百万级亿级TB级PB级

数据量级大数据加工链路长

数据质量保障|测试思路

保障数据的及时性

保障数据可测性与链路稳定性

测试测

数据测数据稳

试执行

试基建定保障

保障数据的完整性、

准确性、一致性

数据质量保障|测试基建-环境管理

p问题与挑战

010203

任务链路长任务节点多环境问题排查难

链路涉及大数据存储、实时

从数据源-数据产品将近

全链路涉及百+任务/表加工、缓存、在线报表等多

10个数据加工层

个组建/数据产品，问题排

查难度大

数据质量保障|测试基建-环境管理

p解决思路

核心点:线上线下数据隔离、资源的快速申请、无流量环境快速释放

分钟级别全套环境搭建、一键检测环境通路、测试间无环境干扰（研发自测、测试、自动化、压测）

数据质量保障|测试基建-环境管理

p数据隔离

通过特定租户做数据隔离，保障数据平