生态环境大数据平台数据接入技术规范.docxVIP

1

生态环境大数据平台数据接入技术规范

1范围

本文件规定了生态环境大数据平台数据的接入范围、接入方式、接入质量管理、接入安全管理等方面的要求。

本文件适用于生态环境大数据平台数据接入。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

HJ718环境信息共享互联互通平台总体框架技术规范

3术语和定义

HJ718-2014界定的以及下列术语和定义适用于本文件。

3.1

生态环境大数据ecologicalandenvironmentalbigdata

具有体量巨大、来源多样、流动高速、形态多变等特征，并难以用传统数据体系结构有效处理的生态环境数据集。

3.2

接口datainterface

两个功能单元之间的共享边界，该边界由两个功能单元的功能特性、物理互连特性、信号交换特性及其他适当特性定义。

【来源：HJ718-2014，3.2】

3.3

结构化数据structureddata

数据结构固定，能够用统一的结构表示的数据。本规范指存储于业务系统关系数据库中的数据。

3.4

非结构化数据unstructureddata

数据结构不固定，且不能够用统一的结构表示的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频和视频信息等数据。

4缩略语

下列缩略语适用于本文件。

FTP：文件传输协议（FileTransferProtocol）。

HTTP:标准的超文件传输协议（HyperTextTransferProtocol）。NFS:网络文件系统（NetworkFileSystem）。

5接入范围

5.1数据源

2

接入的数据源包括：生态环境基础信息资源（5.2）、主题域数据资源（5.3）、行业相关数据资源（5.4）。

5.2生态环境基础信息资源

生态环境基础信息数据资源见表1：

表1生态环境基础信息数据资源

一级类目

二级类目

三级类目

生态环境基础信息资源

环境质量

水环境质量

大气环境质量

土壤环境质量

自然生态环境质量

声环境质量

海洋生态环境质量

其他

污染源

废水污染源

废气污染源

固体废物企业

重金属污染源

挥发性有机物污染源

环境应急风险源

交通运输污染源

集中式污染治理设施

施工工地污染源

生活污染源

农业污染源

其他

环境管理

污染物排放总量控制

生态保护

应对气候变化

固体废物与化学品

核与辐射安全管理

环境安全应急管理

环境與情管理

3

表1生态环境基础信息数据资源（续）

一级类目

二级类目

三级类目

环境行政许可管理

生态环境监测

生态环境保护督察

环境执法

其他

其他

环境行政办公

环境综合管理

环境科技

政策法规

标准规范

人事管理

财务与审计

环境地理信息

其他

5.3主题域数据资源

主题域数据资源包括水环境、大气环境、土壤环境、海洋生态环境、自然生态、固废与危化品、核与辐射、声、应对气候变化、行政许可、生态环境监测、环境督察、环境执法、环境统计、环境应急、环境舆情管理等。

5.4行业相关数据资源

从其他部门接入的与环境相关的数据包括不仅限于：

a)住房和城乡建设部门的工地数据和污水处理厂数据；

b)公安部门的机动车数据；

c)发展和改革部门的燃煤数据和项目批复建设数据；

d)水利部门的水文数据；

e)自然资源部门的地下水、地质、矿权数据；

f)农业农村部门的土壤相关数据；

g)气象部门的大气相关数据；

h)海洋部门的功能区划和入海水源数据等。

5.5互联网数据资源

在互联网上与生态环境相关的网络数据，包括不仅限于：

a)生态环境部门网站；

b)生态环境系统网站；

c)生态环境媒体网站；

d)生态环境科技期刊网站、微信微博、门户网站等。

6接入方式

4

6.1关系数据库抽取

6.1.1功能要求

关系数据库数据抽取应具备以下主要功能：

a)支持对主流的关系数据库进行数据抽取；支持对数据库中常用的数据类型进行数据抽取，至少包括数值型、字符型、日期/时间型等数据类型；

b)支持“全量”和“增量”两种数据抽取模式；

c)支持关系数据库中结构化数据抽取到大数据平台，包含结构化数据、半结构化数据存储的数据仓库中；

d)支持对关系数据库数据的采集内容和类型转换操作，至少包括选择具体的数据表、选择表中具体的字段、字段类型格式转换等操作；

e)支持数据抽取操作的立即执行、定期、不定期调度运行。定期调度运行应提供多种调度策略，