DB37T 3432-2018 农业大数据 数据处理基本要求.docxVIP

ICS35.240L70

DB37

山东省地方标准

DB37/T3432—2018

农业大数据数据处理基本要求

Agriculturalbigdata—Basicrequirementsfordataprocessing

2018-10-18发布2018-11-18实施

山东省质量技术监督局发布

DB37/T3432—2018

I

目次

前言 II

1范围 1

2规范性引用文件 1

3缩略语 1

4术语和定义 1

5概述 1

6数据采集 1

7数据传输 2

8数据预处理 2

9数据存储 2

10数据分析 2

11可视化展现 3

附录A（资料性附录）农业大数据采集领域 4

附录B（资料性附录）农业大数据分析场景示例 5

DB37/T3432—2018

II

前言

本标准按照GB/T1.1—2009给出的规则起草。

本标准由山东省农业厅提出并归口。

本标准起草单位：山东省农业信息中心、山东省标准化研究院。

本标准主要起草人：郑勇、任万明、赵硕、王钧、毛向明、韩雪梅、张媛、郭守辉、逄锦山、史丛丛、刘晓宇。

DB37/T3432—2018

1

农业大数据数据处理基本要求

1范围

本标准规定了农业大数据处理基本要求，包括数据采集、传输、预处理、存储、分析和可视化展现等环节要求。

本标准适用于山东省农业领域大数据的处理、分析及应用。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

DB37/T3431—2018农业大数据标准体系

3缩略语

下列缩略语适用于本文件。PB：拍字节（Petabyte）

4术语和定义

DB37/T3431—2018界定的术语和定义适用于本文件。

5概述

农业大数据处理是通过数据采集、传输、预处理、存储、分析、可视化展现等一系列操作，从农业大数据中获取价值信息的过程。

农业大数据处理环节包括但不限于：

a)数据采集：通过人工或自动方式对农业各领域数据进行采集，农业大数据的采集领域参见附录A；

b)数据传输：对采集的数据按约定方式进行安全传输；

c)数据预处理：按照预处理操作流程将数据处理为易于存储和分析的规范格式；

d)数据存储：对数据进行存储和管理，实现对各种数据的有效组织；

e)数据分析：对存储数据计算和分析，获取有价值信息和知识；

f)可视化展现：将数据分析结果以直观方式显示给用户，并与用户实现交互。

6数据采集

农业大数据采集要求包括但不限于：

DB37/T3432—2018

2

a)应明确数据采集的目的和用途；

b)应依据数据采集需求确定数据采集范围、选取数据采集方式、约定数据采集周期；

c)应规范数据采集操作流程；

d)应跟踪和记录数据采集过程；

e)应从数据完整性、准确性、一致性等方面控制数据采集质量。

7数据传输

农业大数据传输要求包括但不限于：

a)应根据需求选取数据传输方式；

b)应明确数据传输周期，按照约定频次传输数据；

c)应满足数据完整性、准确性等可靠性传输要求；

d)应满足数据传输安全性要求。

8数据预处理

农业大数据预处理要求包括但不限于：

a)应制定数据清洗规则，对缺失数据、格式错误数据、逻辑错误数据等脏数据进行清洗；

b)应将不同来源、格式等数据进行集成；

c)应在数据完整性基础上将数据集归约表示；

d)应将数据格式转换成适用于数据存储和分析的形式；

e)应及时对预处理后的数据质量进行评估。

9数据存储

农业大数据存储要求包括但不限于：

a)对象存储、过程数据存储、结构数据存储等不同类型的数据存储应满足相对应的存储要求；

b)应满足大数据存储技术的高可靠、高可用、可扩展以及高性能等要求；

c)应满足PB数量级以上的数据存储要求；

d)应满足数据一致性、完整性和可用性等存储质量要求；

e)应制定数据存储安全性措施和策略。

10数据分析

农业大数据分析要求包括但不限于：

a)数据分析目的应符合国家法律法规要求；

b)应满足分析数据完整性、唯一性和有效性等质量要求；

c)应根据分析场景构建高可靠、高有效的分析模型；

d)