AloudataBIG主动元数据DataOps建设新支点-赵尉淋.pdf

Aloudata

主动元数据，DataOps建设新⽀点

⼤应科技/赵尉淋

2024/8/17

关于我

•20年数据领域经验，⼤应科技联合创始⼈，现

任⾸席数据架构师和客户成功官，对⾦融业务

数智化有深刻理解和丰富实战经验

•原蚂蚁集团、菜⻦集团数据平台部数据架构

师。菜⻦物流数据体系主要设计者和建设者。

曾主导蚂蚁集团2020年全域数据架构升级和治

理⼯作

⽬录CONTENT

•DataOps体系的背景与建设⽬标

•主动元数据平台是DataOps体系的新⽀点

•什么是主动元数据平台

•什么是算⼦级⾎缘

DataOps体系的背景与建设⽬标

现代数据⼯程架构弊端显现，协同难、管理难、交付难

⼯具⽣态和链路复杂性剧烈膨胀的现代数据⼯程架构

加剧数据协同与管理、交付困境

•数据协同难

企业数据应⽤场景增加，参与数据管道构建团队增多，数据管道持续增⻓，下游

按时按质

团队持续增多，数据管道“烟囱化”越来越严重，形成⽇益复杂的⼯作流和数据流

数据交付

•数据管理难

数据量成倍增加，ETL任务成倍增⻓，ETL⼯程师⼈均维护数据流中的表和数How？

据管道的数量成倍增加，依靠ETL⼯程师很难在⾼度复杂数据流中找到优化⽅案

•数据交付难

越来越多的业务场景要求需求响应效率从⽉/周到天/时，数据分析更灵活性，⽀

持多维度明细下探，强调数据分析⼀致性，以及技术上成本、⻛险的平衡

DataOps架构理念：数据旅程各环节紧密衔接，快速响应需求

ü旅程紧密衔接

ü流程⾃动流转

ü需求快速响应

DataOps突破现代数据⼯程架构困境，实现“数据优先”

nDataOps价值主张：

通过“端到端”打通数据流⽔线，

打破“点对点”的低效数据协作流程，

实现“⼿递⼿”的数据价值释放。

⼀站式、⼀体化建设

n通过引⼊DataOps，实现“数据优先⼯程架构”：⾃动化、智能化发展

定位：⾯向数据管理做优化

⽬标：追求数据的⾼可⽤性（不迟、不错、不重、不漏）

机制：核⼼产出数据资产，数据运维⽅式隐式，尽量⾃动化

DataOps体系建设的“⼀个⽬标、两个实现”

流程优化技术升级

从“⼈盯⼈”升级成“事盯⼈”数据优先即业务优先从“⼈治”升级成“机治”

实现敏捷数据协同