基于大数据平台的电力负荷预测.docx

基于大数据平台的电力负荷预测 摘 要： 电力行业是大数据应用的重要领域之一，电力系统每时每刻都在产生大规模、种类繁多的电力数据，面对海量数据，该如何将它们高效的处理和存储，并进行有效开发利用十分关键。因此，研究基于Hadoop云计算平台海量数据下的电力负荷预测方法，并在MapReduce编程框架的基础下，将K?Means算法进行改良和优化。实验结果表明，提出的方法是可行的，数据处理时间大大缩短，算法精度也能满足负荷预测的要求。 关键词： 大数据； Hadoop； 云计算； Mapreduce； 电力系统； 电力负荷预测 中图分类号： TN915.853?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）20?0153?04 Abstract： Electric power industry is one of the most important fields of big data application. The power system is producing a great variety of large?scale electric power data all the time， and how to effectively process， store， develop and utilize the massive data is very important. Therefore， a power load prediction method based on massive data is researched using the Hadoop cloud computing platform. The K?Means algorithm is improved and optimized on the basics of the Mapreduce programming framework. The experimental results show that， the proposed method is feasible， has greatly?reduced data processing time， and its algorithm accuracy can meet the load prediction requirement. Keywords： big data； Hadoop； cloud computing； Mapreduce； power system； power load prediction 0 引 言 随着电网建设速度的加快、规模的不断扩大、要求的不断提高，电网系统需要具有强大的数据分析和数据处理能力，这样才能保证电网的安全运行[1?2]。但是当前电力系统对数据的分析和处理所采用的是集中式的计算平台，这样的平台在面对海量数据时，如按常规系统10 000个遥测点，采样间隔3～4 s计算，每年能产生1.03 TB的数据，就会出现数据的储存和计算问题，并且它的扩展性能比较差[3]。本文采用Hadoop云计算平台，通过搭建完全分布式集群，在多个节点上对数据进行计算和处理，可以极大地提升数据处理效率。 多年来，电力负荷预测的方法不断出现，例如时间序列法、趋势外推法、神经网络、线性回归、小波分析法等。但这些方法仍然存在局限性。神经网络法很难避免在训练过程中的学习不足且收敛过慢[4]；时间序列法对历史数据准确性要求高，短期电力负荷预测时对天气因素不敏感，难以解决因气象条件、区域等因素造成的短期负荷预测不准确问题。 本文采用某地区的电力负荷数据作为基础。将K?Means聚类算法与云计算平台的MapReduce框架结合对电力负荷进行研究。此方案首先将大量的数据进行标记并产生键值对，然后分配多个节点并同时对数据进行处理和分析，最后将结果合并，这个过程大大提升了数据处理的效率。 1 基于Hadoop平台的K?Means聚类算法 1.1 传统的K?Means聚类算法 传统K均值算法（K?Means Algorithm）的基本流程为：作为一种基于划分的聚类算法，K?Means算法首先从原始目标集合中选取K个点作为初始的K个簇的中心；随后再将每个点指派到离该点最近的簇中心；最后，当所有的点都被划归到一个簇后，对簇中心进行更新；不断重复这样的过程直到簇中心收敛或者其他收敛条件满足（通常为迭代次数）。 有两个方面问题需要考虑：一是距离度量，也就是如何衡量两个数据点之间的距离；二是簇中心的表示问题。在首次迭代中通常随机抽取K个原始数据点作为最初的K个簇中心，而后续的迭代通常通过取属于一个簇的所有点的平均值作为新的簇中心。例如将6个点分为2个簇过程如图1所示。 通过对传