生态环境数据治理和分析服务技术方案.pdfVIP

生态环境数据治理和分析服务技术方案

(一)数据治理服务

1、规范数据工作

A(I)持续对新接入/共享的数据、接口进行梳理，按照国家回流、内部归集、市州上

报、横向共享、跨省共享、外部采集等维度，梳理生态环境厅新接入/共享的所有数据，

最终形成体系完整、架构清晰的数据、接口清单，并持续维护。数据清单可以表格、导图

等形式体现。

▲(2)持续对接入数据源头进行梳理，对数据来源的类型、更新频率、地址、端口、

用户、密码等进行梳理，形成文档并持续进行更新。

▲(3)持续对数据共享对象进行梳理，对目标的类型、共享频率、共享方式等进行

梳理，形成文档并持续进行更新。

A(4)持续对数据加工任务进行梳理，梳理数据流向，对数据来源、各个层级中间表、

结果表进行映射，并形成文档。

A(5)对新增数据调度任务进行梳理，基于中台工具，梳理调度任务的数据源、调度

频率、调度依赖关系、产出物等，形成文档，提高数据调度效率和准确性。

▲(6)对数据指标与统计口径进行梳理，梳理各类共享、加工任务，梳理各类指标

对应的统计口径，包括清洗治理过程、数据血缘关系等，形成文档等可见成果。

A(7)规范数据治理流程并形成文档，同时围绕环境业务数据，提供5类及以上环境

质量及污染源数据质量规则。

▲(8)提供详细的数据治理工作方案，对四川省生态环境厅数据治理要求、治理内

容、现有问题以及下一步工作进行详细描述。

2、强化数据支撑

A(I)数据采集

1)采集范围

根据实际工作要求，对接各类外部数据并进行接入，包括但不限于国家、市州、外

部厅局等数据，并持续更新维护外部数据的相关信息，保障外部数据接入持续、稳定开

展。

2）采集方式

充分利用数据中台现有的结构化数据、非结构化数据以及时序数据的采集功能，开

展数据采集工作。对采集策略进行配置管理，包括采集策略的添加、修改、删除和查询

操作，生成采集任务，并由任务调度管理模块进行集中调度控制。

3）数据清洗

在数据采集时进行基本的数据清洗，根据数据实际情况自定义规则，发现与解决在

数据抽取过程中可能产生的异常错误信息。

▲2）

（数据加工

1）工作范围

完成各类专题数据的优化与加工，包括大气、水、排污许可证、环评、监测等数据

的优化与加工。

完成日常业务处室数据需求，提供实时数据、离线数据加工能力，提供结构化、非

结构化数据的加工能力，形成各类数据成果并及时反馈。

完成各类临时需求任务，包括部级上报数据、横向厅局共享数据、市（州）回流数

据、各类外部数据的加工等。

2）加工方式

（ODSDWD.TDS

基于数据中台整体数据架构、等），将处理后的数据进行关联，形

成中间表、结果表并分层进行存储；梳理数据链路，明确数据流向。

3）数据标签

根据生态环境业务处理规则，新增各类标签，并在对应的数据层进行存储。支持标

签分类管理，基于标签的类目管理功能，进行长期的维护与更新。

▲（3）数据共享

▲）共享数据层建设

根据共享的AP1接口数据需求，建立统一的数据出口存储数据库，监测每日共享数

据的准确性、完整性、服务正常运行，处理异常情况问题。

2)共享服务

根据共享需求，设计对应的API,对外开放数据AP1共享服务，创建共享AP1服务，

提供共享AP1使用说明文档，并共享至对应的部门，包括部级下发、生态环境厅内部共

享、横向厅局共享，市(州)共享以及其他等。

3、日常技术运维

A(I)日常巡检

定时对各项数据任务关键参数、运行状态进行检查，并与准确值进行对比，比较发

现问题并及时处理。

对数据中台采集任务所依赖的数据源进行连通性检查，数据源连通问题通常为网络

不通、数据库迁移、数据源信息更新等，需要定时查看，确保其数据连通状态正常。

对数据中台各项数据调度任务进行检查，对数据源、数据文件应到未到，应调未调，

运行超时，调度异常等各类情况进行检查并及时进行处理。

对非结构化数据归集任务进行定期检查，包括同步任务运行状态、存储空间、运行

效率等进行