电力用户侧大数据分析与并行负荷预测 韦嘉威.pdfVIP

电力用户侧大数据分析与并行负荷预测韦嘉威--第1页

电力用户侧大数据分析与并行负荷预测韦嘉威

摘要：电力用户作为智能主体，在电网需求中起了重要的作用。对于电力用户

侧大数据实时的采集，传输和存储，还有庞大的历史数据进行有效而快速的分析。

这些大数据不仅仅包括智能电表收集的用电量，还有各类传感器按照固定频率采

集的温度、天气、湿度、地理信息和风速信息等。用户测数据复杂程度增大，数

据存储规模将从目前的GB级增长到TB级，甚至PB级，逐步构成了用户侧大数

据。而针对这些数据的分析支撑着智能电网的可靠安全地运行，对这些数据的分

析具有跨时代的意义。

关键词：电力用户侧大数据分析；并行负荷；预测

电力用户侧大数据1特点

如何对电力用户侧大数据进行快速准确的分析，是当前电力电工系统面临的

重要问题之一。各式各样传感器的普及及智能家电的使用，导致电力用户侧大数

据分析的任务量加大。据不完全统计，截止2013年1月，我国智能电表的覆盖

率达到40%，直供直管的智能电表覆盖率达到55%。智能家电随着物联网时代的

到来及大数据精简时代的进步，逐渐出现在更多的家庭当中。电力用户侧大数据

的特点如下：

数据量大1.1

根据调查，美国的太平洋天然气电力公司，每个月要从900万个智能电表中

抽取出3TB的数据资料，每年的数据存储量高达39TB。例如，一个地区有5000

个传感器终端，每个传感器按照5min的间隔来进行一次数据采集，那么每个月

的数据收集量将达到4.6TB，而每年产生的数据将达到0.5PB。

数据1.2结构类型繁多

随着各类的数据传感器广泛应用，数据收集由原来的单一类型，变成了现在

复杂的类型。数据的收集包括：各种结构化数据收集、半结构化数据收集、非结

构化数据收集。这些数据经过采集、传输、存储、发展形成了多元化的数据结构。

数据的1.3交互性

数据的交互性是智能电网的一个重要特性。目前，基于信息化技术平台的云

计算是解决大数据管理的重要技术支撑。现阶段大数据管理与并行处理的主流技

术是开源Hadoop技术。该技术具有强大的扩展能力和较高的可靠性，对于大数

据的管理有着重要的现实意义。

电力用户侧大数据分析2平台

参照云计算技术体系及工具，搭建电力用户侧大数据的分析计算平台，分为

应用层、私有计算层及数据管理层，结构如图1所示。

图1电力用户侧大数据管理平台结构

数据2.1管理层

数据管理层的主要作用是对数据进行采集、整理、结合、集成等，数据的获

得主要依靠智能电表和SCADA系统的数据传输。这些数据的主要内容不单单是设

备内部信息，还包括了大量的设备相关信息。这些数据主要由各厂商的数据终端

提供，因为其接受和传输方式存在着根本的差异，所以形成了海量的结构混杂的

数据流，使得对大数据的加工十分困难。基于云计算的数据处理方式并不是将传

统计算方式完全舍弃，而是将传统计算方式下的数据迁移至云平台，进行高效的

分析和科学的管理。现阶段，虽然很多厂商都提供了众多的应用程序编程接口，

电力用户侧大数据分析与并行负荷预测韦嘉威--第1页

电力用户侧大数据分析与并行负荷预测韦嘉威--第2页

但是也有一些问题，如自动化端口的自动化程度不够高等。针对数据层的集成整

合难点，采用SQOOP工具对数据进行抽取和整合。根据现有技术，对大数据的

抽取工作进行合理科学的编排，建立大数据的数据抽取流程，如图2所示。

图2电力用户侧的大数据抽取流程

私有云计算层与应用层2.2

电力用户侧的大数据体系中，私有云计算层主要实现