物联网数据质量(1).docxVIP

1

物联网数据质量

1范围

本文件规定了数据质量的等级划分要求和数据质量的评价等级规范。

本文件适用于数据全生存周期各个阶段的数据质量过程。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T36344—2018信息技术数据质量评价指标

3术语和定义

3.1下列术语和定义适用于本文件。

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

注：包括政府部门、团体机构、企事业单位和个人。

[来源：GB/T5271.1—2018，定义01.01.02]

3.2

数据质量dataquality

在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。

[来源：GB/T36344—2018，定义2.3]

3.3

数据集dataset

具有一定主题，可以标识并可以被计算机化处理的数据集合。

[来源：GB/T36344—2018，定义2.6]

3.4

等级评价evaluation

按照不同等级的定义和描述进行评估给出评价结果。

4评价框架

数据质量评价是在评价保障基础上通过确定评价对象，业务权重和数据权重的分析，对数据选取的准确性、一致性、完整性、规范性、时效性和可访问性等指标进行数据质量检查，计算数据质量评价分数，确定数据质量等级的过程。

2

数据质量检查评价指

数据质量检查

评价指cv标选取

规则cv匹配

检查cv实施

质量等级划分

质量等cv级划分

价值等cv级划分

评价对象确定

数据范cv围界定

权重分析

应用场cv景分析

业务权cv重分析

数据权cv重分析

评价结果计算

质量检cv查分数

评价指cv标权重

业务综cv合评价

评价保障

制度cv保障

平台cv保障

技术cv保障

安全cv保障

图1数据质量等级评价框架

数据质量等级评价流程主要包括评价对象确定、权重分析、数据质量检查、评价结果计算、质量等级划分和评价保障等七个环节。

5评价对象确定

5.1概述

评价对象确定是指对评价数据进行范围界定。

5.2数据范围界定

与数据提供方人员沟通确定进行质量评价的数据范围，可以划分到表或者字段粒度。对数据的业务场景进行分析，确定数据字典内容，检查数据项属性。

6权重分析

6.1概述

3

权重分析是指通过分析数据应用场景对数据层面进行业务权重分析和对字段层面进行数据权重分析。

6.2应用场景分析

与数据提供方人员沟通明确数据应用场景。

应考虑数据内外部场景分类情况；

应考虑数据的内部增效情况；

应考虑数据的外部增值情况。

6.3业务权重分析

分析字段属性在数据质量评价过程中的重要性程度，从以下角度对数据重要程度分析：应考虑数据字段在业务场景下是否为核心字段；

应考虑数据和业务的关联度情况；

应考虑数据访问的频度。

6.4数据权重分析

分析每个字段属性在数据质量评价过程中的重要性程度。从以下角度对重要程度分析：应考虑评级需求：明确数据评级的目的；

应考虑场景需求；

应考虑行业需求。

7数据质量检查

7.1概述

参考下述准确性、一致性、完整性、规范性、时效性和可访问性，依据所选择的评价维度范围，对数据进行数据质量检查，统计符合评价维度的数据项。

7.2指标选取

依据数据属性选择准确性、一致性、完整性、规范性、时效性和可访问性等评价维度指标。

7.2.1准确性

准确性用于度量数据和信息的正确或者描述真实实体的真实值的程度，主要是数据内容的准确率、精度准确率、记录重复率和脏数据出现率等。

7.2.2一致性

一致性用于度量数据值在数据信息含义上的冲突程度，主要是元素赋值一致率的程度。

7.2.3完整性

完整性用于度量数据丢失或者数据不可用的程度，主要是数据元素填充率、记录填充率和数据项填充率。

4

7.2.4规范性

规范性用于度量数据按规定格式存储的程度，主要是数据值域合规率、元数据合规率、格式合规率和安全合规率等程度。

7.2.5时效性

时效性用于信息在规定时间段内具有数据价值属性的程度，主要是数据的周期及时性和实时及时性等。

7.2.6可访问性

可访问性用于用户进行查询和修改数据能力的程度，主要是数据的可访问度。

7.3规则匹配

依据数据字典和评价指标制定符合评价指标描述的数据字段匹配规则。

7.4检查实施

依据评价指标通过匹配的规则对数据进行规则匹配检查，获得符合评价指标的数据检查信息。

8评价结果计算

8.1概述

评价结果计算是指通过数据