数据中台技术方案.pdfVIP

数据中台技术方案--第1页

数据中台技术方案

本技术方案主要明确公司数据中台建设目标、建设原则、

能力框架、技术要求和演进策略等内容，为公司数据中台建

设提供技术指导。

一、建设背景

（一）建设现状

当前公司信息内网建成了覆盖公司总部及27家省（市）

公司的两级全业务统一数据中心分析域，初步具备了数据接

入、数据存储计算、数据分析应用相关能力，实现公司核心

业务系统数据的接入及整合汇聚，支撑了各专业数据分析类

应用的构建。

在数据接入方面：通过OGG、ETL等技术实现业务系

统结构化数据接入至分析域贴源区，通过采集量测数据接入

工具实现采集量测数据接入大数据平台。

在数据存储方面：贴源历史层采用分布式关系型数据库

（SG-RDB-MS）实现各业务系统贴源数据的存储。数据仓

库层采用MPP数据库（GBase8a），基于统一数据模型

（SG-CIM）实现部分数据标准化存储。数据集市层采用关

系型数据库（SG-RDB-PG）实现分析计算后结果数据存储；

采集量测数据采用大数据平台分布式列式数据库（Hbase）

进行存储。

1

数据中台技术方案--第1页

数据中台技术方案--第2页

在数据计算方面：针对小规模数据计算分析需求，通过

MPP数据库（Gbase8a）并行计算技术实现。针对大批量

的离线计算需求通过大数据平台批量计算组件

（MapReduce）实现。针对实时数据计算需求，通过大数

据平台实时消息队列（kafka）、内存计算（Spark）、流计算

（Storm）等组件实现。

在数据应用方面：针对大数据分析应用需求，通过自助

式分析工具、Tableau等工具实现。

（二）存在问题

当前分析域在各单位分析应用中发挥了一定的作用，但

从应用角度来看仍存在技术门槛高、数据难读懂、数据获取

难等问题，具体如下：

1.技术组件多样，应用难度大。分析域主要包括数据接

入、数据存储、数据计算等方面的21个技术组件，涉及厂

商多，技术体系性差，组件之间技术集成复杂，相关工具友

好性不足，对专业能力要求高，应用难度大。

2.找数据困难，数据应用门槛高。一是当前分析域未形

成完整的数据资源目录，数据资源检索困难；二是分析域目

前尚未构建数据服务，数据应用复用性差，增加数据应用难

度。

3.一级部署系统数据获取难。当前总部数据下发通过人

工方式实现数据全量及增量导出，再基于数据交换平台以文

件形式下发，人工环节多，数据下发效率低下。

2

数据中台技术方案--第2页

数据中台技术方案--第3页

4.数据模型管控机制不完善。当前全域数据模型尚不成

熟，需要在应用过程中快速持续迭代；另外，数据模型管控

基于人工线下流程处理，效率低，响应慢。

（三）建设需求

根据公司泛在电力物联网建设任务的需求，数据中台需

以应用需求为导向，满足新增业务数据接入需求，支撑物联

管理中心试点建设单位大量终端采集数据的接入和存储，促

进电网、客户、产业、金融、国际化等各领域数据融通，面