2024大数据平台EMS数据接入和存储规范.docx

大数据平台EMG数据接入和存储规范

目 录

范围 4

规范性引用文件 4

术语和定义 4

EMS数据接入及存储规范 5

系统的结构及设计原则 5

系统的结构图 5

存储方案 5

公共数据模型 5

存量数据入库 5

增量数据同步 6

公共数据模型要求 6

接入系统：详见附录A 6

接入业务分组：详见附录B 6

接入业务表：详见附录C 6

EMS设备台账模型 6

EMS设备命名表：详见附录D 6

EMS设备从属表：详见附录E 6

设备对应关系模型 6

EMS状态信息数据模型要求 6

EMS数据处理过程要求： 7

EMS数据存储结构要求 7

调度EMS系统接入要求 8

整体要求： 8

接入方案要求 8

系统验收要求 8

规范性附录： 9

3

大数据平台EMG数据接入和存储规范

范围

本标准规定了大数据平台EMS数据接入和存储项目中的数据接入及存储规范，为开发者提供本业务方向的数据规范，保证数据接入及存储的统一性。

规范性引用文件

下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，凡是不注日期的引用文件，其必威体育精装版版本适用于本标准。

GB/T19001质量管理体系

GB/T19003软件工程

GB/T15532–2008计算机软件测试规范

术语和定义

GB/T19001、GB/T19003软件工程和GB/T15532–2008计算机软件测试规范中确立的术语和定义适用于本规范。

EMS：电网能量管理系统PMS：电网生产管理系统

EMS数据接入及存储规范

系统的结构及设计原则

系统的结构图

系统包括Hadoop数据存储、数据传输和本地数据三个层次。如图1所示。

Hadoop集群

本地缓存

本地缓存

大数据存储

EMS

模型定义

公共数据模

型转换装置

EMS量测信息

非结构化数据

设备对应关系

公共数据模型转换装置

EMS台账

量测增量/webservice

台账增量/webservice

设备对应关系

Oracle

图例

状态信息模型数据对应关系非结构化

图1：电科院大数据平台系统结构图

电科院大数据平台数据中心分为本地缓存区和大数据存储区，本地缓存区采用关系库Oracle，大数据存储区采用hadoop。

存储方案

接入数据内容： EMS数据；

ORACLE存储内容：模型数据（包括模型定义、台账数据、拓扑、对应关系）；

Hadoop存储内容：量测信息、实时数据、非结构化数据；

PMS数据： 全部数据、设备对应关系都在Oracle和hadoop冗余存储，数据通过sqoop在oracle和hadoop之间同步。

公共数据模型

ORACLE存储格式：各系统设备台账（包括拓扑）以源数据原始格式存储；Hadoop存储格式：各类状态信息数据采用公共数据模型存储。

存量数据入库

历史存量数据存储方式：采用Oracle方式存储;

处理步骤：

存量数据在本地缓存还原；

数据经过公共数据模型转换装置进入Hadoop系统。

增量数据同步

系统状态信息数据： 采用webservice接口方式，经过公共数据模型转换装置直接进入hadoop；

各系统模型数据（台账、拓扑）：采用webservice接口方式，数据存入本地缓存

公共数据模型要求

本标准采用摘要表示的方式定义和描述公共数据模型，摘要内容包括以下几个属性：接入系统表名、字段名、字段类型、字段长度、字段精度、字段说明。

接入系统：详见附录A

接入业务分组：详见附录B

接入业务表：详见附录C

EMS设备台账模型

本标准采用摘要表示的方式定义和描述公共数据模型，摘要内容包括以下几个属性：接入系统表名、字段名、字段类型、字段长度、字段精度、字段说明。

EMS设备命名表：详见附录D

EMS设备从属表：详见附录E

设备对应关系模型

本表规定了EMS系统与PMS系统之间的数据对应关系

详见附录F。

EMS状态信息数据模型要求

本部分规定了EMS源数据接入的规范及数据传输方式，以及在Hadoop中的存储方式。

图2、EMS数据存储结构图

EMS数据处理过程要求：

EMS通过WebService接口接入Oracle临时数据库，接入EMS_INFO2数据模型；

完成PMS设备台账与EMS数据关系对应时间模型接入；

EMS_INFO2模型数据、PMS关系模型数据接入量测值获取工具进行处理，获取设备对应的量测值

通过HADOOP数据接口将量