金融级数据研发DataOps落地实践廖晓格.pdf

金融级数据研发

DataOps实践

平安银行数据及AI平台团队负责人/廖晓格

廖晓格长期大数据平台、AI平台建设经验

•平安银行数据资产管理及研发中心团队负责人，负责大数据基础平台、

数据中台、BI及AI中台能力的建设

•曾就职于PPTV、ebay、携程、华为，负责大数据平台应用的研发工

作

目录

一、数据研发问题及挑战

二、数据研发DataOps实

践

三、未来展望

数据研发平台问题和挑战

问题和挑战问题举例方向

》》》》

如何减少数据事平台数据事故引起客户投诉、资损甚至监管报送。重

故，保证数据交

付质量？在数字化转型过程中，高质量的数据保证越发重要质量

必须有数据研发工程师+后端开发工程师参与完整的业务需求

如何提高数据交付作业上线流程严，即使不接入生产应用/最小权限的分析任务，审

效率和批量数据时批流程也要小时到天不等，影响一些分析场景的效能；时效

效？指标口径不统一，存在烟囱式开发。

缺少实时数据分析能力

如何有效赋能业重复作业，数据冗余度高。降

务，同时控制好数据未进行冷热分析，存在垃圾数据。成本

平台成本？数据价值难以评估，需求价值的度量标准。

如何保证数据共享敏感数据外泄保

安全？如何既能实现共享又能符合各项法规安全

数据成本越来越高，价值难以评

估包袱？资产！

数A降低成本

计算负载极高据

存储成本剧增治

理B提升数据加工效率

数

数据安全隐患数据

据C改善数据质量治

ulu治理

不可靠决策