全链路数据治理——主动数据治理篇.pdfVIP

封面页

（此页面将由下图全覆盖，此为编辑稿中的示意，将在终稿PDF版中做更新）

卷首语

云原生一体化数仓是阿里云整合自研大数据产品MaxCompute、DataWorks、

Hologres和实时计算Flink版推出的一站式大数据处理平台，具备流批一体、实时

离线一体、湖仓一体、全链路数据治理四大核心能力，可以满足企业在建设大数据

平台中对时效性、准确性、性价比、非结构化数据处理的需求，基于精简的架构，

支撑全域数据分析需求和决策。

全链路数据治理包含智能数据建模、全域数据集成、高效数据开发、主动数据

治理、全面数据安全、快速分析服务六大产品能力，覆盖数据的全生命周期。本篇

从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效

治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方

面为大家揭秘数据治理平台建设实践。

后续系列电子书更新请关注DataWorks官网或阿里云开发者社区。

l全域数据集成电子书（已完成）

l智能数据建模电子书（已完成）

l主动数据治理电子书（已完成）

l全面数据安全电子书-2023年

l云原生一体化数仓新能力电子书（已完成）

DataWorks官网：/product/bigdata/ide

目录

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践5

一、数据繁荣的红利与挑战5

二、阿里巴巴数据治理平台建设实践11

1.数据生产规范性治理11

2.数据生产稳定性治理17

3.数据生产质量治理22

4.数据应用提效治理29

5.数据安全管控治理34

6.数据成本治理40

7.数据治理组织架构及文化建设53

三、总结57

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践5

2万字揭秘阿里巴巴数据治理平台DataWorks建设实

践

作者：阿里云DataWorks团队

阿里巴巴一直将数据作为自己的核心资产与能力之一，通过多年的实践探索建设数

据应用，支撑业务发展。在不断升级和重构的过程中，我们经历了从分散的数据分

析到平台化能力整合，再到全局数据智能化的时代。如今，大数据平台面临全新的

挑战，特别是降本等数据治理需求的不断出现，今天阿里云DataWorks团队将其中

一些建设经验与大家进行一些分享。

一、数据繁荣的红利与挑战

大数据平台的建设，到底可以为企业带来什么样的价值？

对于技术同学来说，往往会用一些技术指标来衡量，例如数据量，机器数量，任务

数量等等。根据我们往年已经对外公开的数据，我们可以看到大数据计算引擎

MaxCompute的单日数据处理量在不断增长，在2021年双11的时候，MaxCompute

单日数据处理量已经达到了2.79EB。有趣的是，双11不仅仅意味着当年的波峰，

同时也是来年的起点，成为了2022年日常每天的数据处理量，去年的峰值成为了

来年的日常。在大数据开发治理平台DataWorks上，单日任务调度实例数也超过了

1000万，其中也包含着业务之间50多种各类复杂的数据处理关系，保障数据正常、

有序产出，如果将整个阿里巴巴集团的数据任务依赖全部展开，将会是一副非常广

阔的数据画卷。

规模当然可以一定程度上反馈我们为业务带来的支持，特别像双11这种世界级的

场景