2025数据管理标准.docx

数据管理标准

PAGE\*ROMAN

PAGE\*ROMANII

目次

前言 II

范围 1

规范性引用文件 1

术语和定义 1

数据类型 1

数据功能管理 1

数据服务管理 4

PAGE

PAGE10

数据管理

范围

本文件规定了数据管理的内容、要求、方法、规则。本文件适用于数据管理工作。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T11457-2006信息技术软件工程术语GB/T36073-2018数据管理能力成熟度评估模型

GB/T38664.2-2020信息技术大数据项目数据开放共享第2部分：基本要求

术语和定义

本文件没有需要界定的术语和定义。

数据类型

结构化数据

即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。

非结构化数据

包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息

等。

半结构化数据

就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据。例如HTML文档属于半结构化数据，它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。

数据功能管理

数据整合管理

数据整合管理需要能够提供对数据的采集和转换、稽核、关联聚合等一系列的加工处理功能，能够实现动态配置、实现各类不同主题信息处理的功能，并且实现可对多个来源的数据进行加工处理的功能，可对外界提供一个完整的数据视图。以方便进行质量管控。具体需求如下：

——整合规则配置：需要提供数据剔重、映射、转换、比对、整改等数据整合规则的动态配置功能；

——数据转换：需要提供对数据格式、语义等不一致数据的数据转换功能，为公共信息服务平台提供统一的、可识别、可处理的数据；

——数据稽核：需要提供数据清洗、比对、核对等数据稽核功能，确保入库的数据准确性、完整性和一致性；

——数据关联与聚合：需要提供数据的关联和聚合处理功能，并能形成完整的数据视图；

——数据加载：需要提供数据行加载和数据块加载功能，将稽核的数据加载到数据库中；

——整合流程管理：需要实现对整合实施过程的流程化控制功能，并允许在流程过程中进行回退、修改等操作；

——查询统计：需要提供整合结果信息的查询统计功能；

数据交换管理

数据交换及整合功能管理要求，主要包括以下几个方面：

——能提供统一数据交换及整合服务。实现畅通工程涉及到的各种数据信息（如数据库、文件、XML、传输队列、适配器等）之间的相互交换；

——能支持畅通工程涉及到的各种数据库。如：Oracle、SQLServer、DB2、SybaseASE、SybaseIQ、Informix、MySQL、FoxPro、Access等；国产数据库：达梦、人大金仓、神州数据库等；同时支持SQL语句作为数据源；

——能支持畅通工程涉及到的各种文件（含多媒体文件）。如：文本文件（分隔符、定长等）、Excel文件、DBF文件、MDB文件、电子证照图片文件、音视频等。分隔符文件要支持组合分隔符。能可视化配置文件与异构系统的交换；

——能支持XML。XML可以是文件，也可以是来源消息队列、API、WebURL等。能可视化配置XML与异构系统的交换；

——能可视化定义内存表与异构系统的交换；可视化配置数据采集结果可输出到通道中，实现数据传输服务的绑定；

——能支持对数据源实时、增量、批量、全量的交换策略，抽取条件可以是静态语句、动态SQL规则、来自变量、来自变量组等。要求支持变化数据捕捉增量抽取策略；

——能提供主流的数据转换方法，包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换等。提供数据比对与翻译的可视化配置；

——能提供主流的逻辑判断方法，包括：格式匹配检查、字符串逻辑检查、缺失记录检查、重复记录检查、范围检查、逻辑检查、复合逻辑检查（以上逻辑的and、or组合）、自定义逻辑检查等。并能可视化配置；

——能提供交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中；

——能提供多样的装载策略，定义多种组合路由条件方便数据装载到目标中。当目标是数据库时要支持事务完整性，支持装载前的删除等处理；

——能提供二次开发接口，包括提供数据适配器接口，方便数据源扩展；提供转换方法接口，方便扩展转换方法；提供逻辑判断接口，方便扩展数据逻辑判断方法；

——能提供文件分类调用，对文件夹下的不同类型的文件设定