数据质量中心 - 《有数数据开发及管理平台用户手册 V6.5.0》 - 网易大数据.pdf

2022/6/211:04产品使用手册-数据质量中心-《有数数据开发及管理平台用户手册V6.5.0》-网易大数据

数据质量中心

产品概述

流程归纳

创建稽核监控任务

离线开发绑定监控任务

查看监控执行历史

数据质量评估

/documents/read/EasyDataBook_LTS6.5.0/easydqc.md1/1

2022/6/211:04数据质量中心-产品概述-《有数数据开发及管理平台用户手册V6.5.0》-网易大数据

产品概述

数据质量中心围绕完整性、一致性、准确性、有效性和及时性这五个方面监控、衡量数据质量问题、提升企业数

据质量。

从数据接入、数据加工等环节，评估数据是否能够满足要求，准时产出，便于数据开发了解监控数据异常后是否

影响后续的分析任务、是否能快速修复。

产品特点

数据质量中心通过事前定义数据的监控规则、事中监控和控制数据的生成过程和事后数据评估和问题追溯过程，

把控高质量的数据，拥有准确且业务有序的数据是确保商业决策不会遭受伴随“坏”或“脏”数据而来的负面影

响。

使用场景

在实际业务场景中，当数据质量出现问题时，如果不能及时的进行报警通知，只能先发现后治理，然后再进行任

务返工，会严重影响数据的产出和决策。

数据质量中心支持表级、字段级强弱规则的配置，同时系统内置多种监控规则，可以根据配置的监控规则，运行

稽核任务，同时，结合数据测试中心、数据资产等产品功能，在资损、财报等场景中普遍适用。

/documents/read/EasyDataBook_LTS6.5.0/easydqc_summary.md1/1

2022/6/211:05数据质量中心-流程归纳-《有数数据开发及管理平台用户手册V6.5.0》-网易大数据

流程归纳

数据质量中心结合离线开发平台，使用流程如下图所示：

1.数据开发，在数据质量中心创建监控任务，选择需要配置稽核的库表，然后针对表级以及字段级设置监控规

则，填写规则命中的期望值；

2.监控任务创建成功后，支持试跑监控任务，可设置试跑任务成功或失败的通知机制；

3.监控任务试跑后，查看试跑的执行实例，可以查看执行结果是否满足需求；

4.若稽核监控任务试跑成功且执行结果满足需求，则可以在离线开发任务中，绑定质量监控任务；

5.在离线开发，支持针对稽核监控任务配置报警；

6.离线开发配置完成后，可以在数据质量中心查看表质量评估相关内容，包括查看质量大屏、表质量评分以及

监控任务的执行趋势等。

/documents/read/EasyDataBook_LTS6.5.0/easydqc_flow.md1/1

2022/6/211:06数据质量中心-创建稽核监控任务-《有数数据开发及管理平台用户手册V6.5.0》-网易大数据

创建稽核监控任务

在监控列表页面可对已创建的监控任务进行管理，支持新建、复制、删除、试跑、引用详情等功能。

规则模板管理

在监控列表页面，单击规则模板管理可进入质量规则管理页面。系统预置规则模板，也支持自定义模板规则，以

便于在创建稽核监控任务时，选择模板直接引用。

新建规则模板时，需要填写名称、描述和规则代码，规则代码可以使用${column}作为字段名称的占位符，应用

规则时，${column}可自动替换为字段名。

系统内置的规则模板不支持删除，自定义的规则模板可编辑和删除(项目管理员和负责人有最高权限，可编辑所

有，普通用户仅可编辑和删除自己创建的模板)。

新建稽核监控任务

在监控列表页面，点击新建监控可进入监控任务创建页面。

步骤一：设置监控对象

/documents/read/EasyDataBook_LTS6.5.0/easydqc_new.md1/6

2022/6/211:06数据质量中心-创建稽核监控任务-《有数数据开发及管理平台用户手册V6.5.0》-网易大数据

选择需要监控的库表，若表为分区表，也可以选择具体的分区进行监控，监控名称默认由dqc_开头，拼接库和

表的名称，允许修改。

说明：

1.一张表(非分区表)只能创建一个监控任务，分区表若有多个分区，可针对不同的分区创建多个监控任