《公共数据清洗技术要求》DB35T 2240-2024.docxVIP

ICS01.040.35

35

CCSL70

福 建 省 地 方 标 准

DB35/T2240—2024

公共数据清洗技术要求

Technicalrequirementsforpublicdatacleaning

2024-12-24发布 2025-03-24实施

福建省市场监督管理局??发 布

DB35/T2240—2024

目 次

前言 II

1 范围 1

2 规范性引用文件 1

3 术语和定义 1

4 基本原则 2

5 过程要求 2

6 方法要求 5

7 安全要求 7

附录A（资料性） 数据清洗的常见方法 8

参考文献 9

I

DB35/T2240—2024

前 言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由福建大数据一级开发有限公司提出。

本文件由福建省信息化标准化技术委员会（SAFJ/TC11）归口。

本文件起草单位：福建大数据一级开发有限公司、福建省数字经济发展促进中心、福建省市场监督管理局行政服务中心、福建省网络与信息安全测评中心、福建省建设信息中心、福建奇比特信息科技有限公司。

本文件主要起草人：李喆、陈国清、徐侃、涂平、王宇奇、邹建红、黄炜、石福仁、游鄂平、梁煜、张镇晖、李元、傅腾宇、李海、吴春华、马腾、陈闪闪、谢丹丹、张健文。

II

公共数据清洗技术要求

范围

本文件规定了公共数据清洗的基本原则、过程要求、方法要求和安全要求。

本文件适用于一体化公共数据的抽取、转换、核验、加载等清洗环节。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T22239 信息安全技术 网络安全等级保护基本要求

GB/T35274 信息安全技术 大数据服务安全能力要求

GB/T36344—2018 信息技术 数据质量评价指标

GB/T37973 信息安全技术 大数据安全管理指南

GB/T39477 信息安全技术 政务信息共享 数据安全技术要求

GB/T43697 数据安全技术 数据分类分级规则

术语和定义

下列术语和定义适用于本文件。

3.1

公共数据 publicdata

公共管理和服务机构在依法履职或者提供公共管理和服务过程中收集、产生的，以一定形式记录、保存的各类数据及其衍生数据。

注1：公共管理和服务机构是指政务部门以及公益事业单位、公用企业。

注2：包含政务、公益事业单位数据和公用企业数据。

3.2

公共数据资源目录 publicdataresourcecatalog

依据公共数据资源的元数据，按照一定的分类方法进行编码的一组信息，用以描述各个公共数据资源的特征，便于公共数据资源的检索、定位与获取。

3.3

缺失值 missingvalue

在数据归集与整理过程中未获得的数值、属性或内容。

3.4

重复值 duplicatevalue

数据集存在两条及以上完全相同的记录，或在某一字段内存在多个相同的值。

DB35/T2240—2024

4 基本原则

安全性

数据在清洗过程中应防止数据泄露、篡改或非法访问。

合法性

数据清洗过程和数据内容应符合《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等相关法律法规的要求。

可审计性

数据清洗的全过程应跟踪和记录，确保数据的来源、处理步骤、结果输出等可追溯。

5 过程要求

基本流程

数据清洗基本流程应包含检测分析、确定清洗范围、定义清洗规则、数据抽取、清洗转换、结果核验、数据标识和数据加载等环节（见图1）。

2

开始

检测分析

确定清洗范围

定义清洗规则

数据抽取

清洗转换

不通过

结果核验

数据标识

通过

数据加载

结束

图1 数据清洗基本流程

5.2 检测分析

应满足以下要求：

根据被检测分析对象的特点和分析需求，设计具有针对性的检测分析方案；

从数据量、类型、内容、关系、数值范围等维度进行检测分析；

检测分析颗粒度达到字段级别，对数据中的每个字段、每个值进行检测分析；

采用缺失值、重复值、异常值、数据格式等一种或多种检测方法；

检测分析结果包含数据基本属性分析、数据的分布情况、数据的相关性和趋势、检测时间、检测方法及处理建议等。

5.3 确定清洗范围

应满足以下要求：

根据检测分析结果，识别数据质量问题，确定清洗目标；

根据数据的重要程度和数据质量情况，确定清洗任务优先级；

将不符合业务使用目标的数据存入问题数据库表，用于后续查证或重新使用。

5.4 定义清洗规则

应满足以下要求：