大数据技术在电力行业的研究与应用.docxVIP

?

?

大数据技术在电力行业的研究与应用

?

?

沈佳++王天军++尹蕊++马宗达

摘要

随着信息通信技术的不断进步，数据已经成为关乎企业发展的重要战略资源，大数据的分析应用得到了各行各业的强烈关注。本文首先介绍了大数据分析技术在电力行业的落地-企业级大数据平台的功能及组件实现，随后描述了电网业务在企业级大数据平台中的两项典型应用，最后对大数据分析技术在电力行业的应用前景做了展望。

【关键词】大数据电力技术

随着信息通信技术的不断进步，数据已经成为关乎企业发展的重要战略资源。大数据的概念从产生之日起就获得了各行各业的强烈关注，有关大数据的应用也不断的深入各个领域，触动了行业的大量变革。电力行业自“三集五大”管理体系建立以来，信息系统的应用已经贯穿了企业生产经营管理的各个环节，过程中累积了海量的数据资源，其中包括了结构化、非结构化、海量历史/准实时和地理信息数据，提升数据的应用水平，挖掘数据的商业价值成为了亟待考虑的问题。

1大数据分析技术路线

为了提升电网数据资源的整合、处理及价值挖掘水平，在充分借鉴互联网思维的基础上，构建“服务型平台、轻量级应用、全景化分析”的应用管理模应运而生。构建统一的企业级大数据平台，使用有别于传统的采集、存储和处理技术，实现了横跨多个业务类型、快速灵活、可定制的数据关联分析，同时也满足满企业管理提升和业务创新的需求。

企业级大数据平台在总体上分为数据整合、数据存储、数据计算、数据分析、数据服务五个主要模块及安全、管理配置、数据管理等配套管理模块。功能架构如图1所示。

1.1数据整合

数据整合采用Kafka、Sqoop、增量捕获工具等多种技术手段，满足了关系型数据库和非关系型数据库等异构数据源的接入需求，提供数据的实时推送、抽取等采集功能，能够支撑数据按照不同的采集频率进行接入。

1.2数据存储

基于X86集群架构，采用分布式技术构建成本较低、可支持灵活扩展的存储系统，支撑公司四类数据（结构化、非结构化、海量历史准实时、地理信息数据）的存储需求。同时，支持高效的数据即席查询、非结构化数据处理、内存读写操作等功能。

1.3数据计算

提供批量计算、内存计算、流计算、查询计算等功能满足不同时效性的计算需求。批量计算能够支持大批量数据的离线分析，如历史数据报表分析。内存计算支持交互性分析，如全省用电数据在线统计。流计算支持实时处理，如电表数据实时处理、预警。查询计算基于分布式文件存储，提供类似sql的查询分析技术，将查询语句转译为并行的分布式计算任务。

1.4数据分析

能够提供横跨多个业务的分析模型和数据挖掘算法，构建模型库和算法库，开展数据模拟分析和计算预测，满足各类应用的分析挖掘需求，为分析决策类应用提供支撑。

1.5平台服务

平台服务层是统一的企业及大数据平台服务中心，其中封装了各类服务如存储服务、分析服务、计算服务及展现服务等，统一对外提供服务支持。

1.6其他

从配置管理、安全和数据管理方面，提供了大数据平台的配套管理功能，实现各个组件集中化的监控、配置，数据接入的身份权限控制和安全审计功能。

2大数据分析典型场景应用

通过企业级大数据平台进行数据整合挖掘分析，实现了对电网生产运行及经营管理等方面的进一步优化，初期实现了10个方面的典型应用。以防窃电预警分析场景和基于气温变化对客户用电影响分析场景为例。

2.1防窃电预警分析场景

该场景是基于用电信息采集系统的海量数据，建立防窃电分析模型，结合电网GIS信息，采用大数据挖掘和数据关联技术实现对现场计量异常情况、窃电行为的在线监测，灵活开展防窃电业务，及时发现异常行为，挽回电网经济损失。

在实际应用中运用关联度累加算法，建立防窃电异常分析模型，实现对现场计量异常情况、窃电行为的在线监测，分析用户窃电嫌疑程度。某省公司基于该场景开展防窃电工作，窃电用户稽核命中率提升30%，工作效率提升4倍。

2.2基于气温变化对客户用电影响分析场景

该场景是基于营销用户档案数据、用电信息采集电量、负荷数据，构建用户用电行为特征模型库，结合温度变化等数据，对用户用电行为特征影响进行分析。在传统短期负荷预测方法中增加气温等影响因素的辅助输入变量，对于提高短期日负荷预测精度、增加电力系统调度效率以及缓解区域供电不足等方面具有重要意义。

在实际应用中运用随机森林结合时间序列、聚类模型（K-means）构建负荷预测模型、客户用电特征细分模型，建设用电行为特征分析、用电影响因素分析场景，对每类客户群从客户价值、信用风险等方面综合评估，实现用户类型细分，并对不同温度对用电的影响进行总体分析。某省公司将大客户归类为风险、优质、普通、发展等4类用户，其中风险客户识别率提升30%。

3结语

企业级大数据平台的构建及应用，使大数据的价值得到了一定程度的发挥