分布式技术在电力大数据高性能处理中的应用.docx

??

?

??

分布式技术在电力大数据高性能处理中的应用

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

2.国网西藏电力有限公司西藏拉萨850000

摘要：随着信息技术的快速发展，我国的电力行业已经开始大范围的利用大数据技术，这种技术能够在电力企业的生产与经营过程中发挥着十分重要的作用。但是，目前我国的大数据技术仍处于发展阶段，其中数据的运算与存储能力还存在一些不足之处。为了解决这些问题，提高供电系统对大数据技术的支持，我们制定了运用分布式技术来解决电力大数据运算与存储问题的方案。本文将对分布式技术在电力大数据高性能处理中的应用进行分析。

关键词：分布式技术；电力大数据；智能电网；高性能处理

1、电力大数据的概念到目前为止，大数据还没有形成一个统一的概念。简单的说，大数据就是具有较大的体量、较多的类型、较快的处速度以及较低价值密度的数据集合，这是目前对大数据最统一的认识。大数据的特点在于其无法在短时间内利用传统的数据库对其完成抓取、管理以及处理。近年来，我国的电力行业发展势头迅猛，信息化技术也逐渐开始运用到这一传统行业中，为了提高电力企业的管理效率以及服务质量，大多数电力企业都开始建立自己的智能电网系统。在这些系统中，大数据技术的应用逐渐成为系统的关键环节。电力大数据是电力行业技术改造的重要环节，在电力系统中应用大数据技术，是电力系统发展的必然结果。

2、分布式技术解决大数据运算与存储问题的具体方案为了结解决电力大数据运算与存储问题，我们可以利用基于Hadoop架构的分布式并行计算平台，完成对传统关系数据库平台的优化改造，在电网典型业务场景中，性能测试的结果证明了方案的可行性和性能优势。这套方案需要运用基于开Hadoop架构的多种数据处理技术，例如分布式存储、多维索引以及并行计算等技术。具体方案的实施需要以电力大数据的特点为依据，使用分布式技术建立并行计算平台，并且与关系型数据可向配合，用于运算并存储电力企业智能电网中需要处理的电力大数据，解决电力大数据平台数据运算与存储存在的问题。

3、分布式技术在电力大数据高性能处理中的应用3.1分布式文件系统电力系统规模巨大线路绵延，电力系统运行数据规模大，更替快，数据来源驳杂，空间分布遥远，传统的文件管理系统难以满足电力大数据的需求，建设大规模数据可拓展分布式文件存储系统，是电力大数据技术应用的基础。Key-Value分布式文件系统是一种通用硬件上运行的文件管理系统，容错性和可用性较高，提供的数据访问吞吐量更高，能够满足大规模数据高性能处理的需求。分布式文件系统有单独master和多个slave结构，其中master保存元数据，slave保存数据block块形式数据信息。这样的数据结构能够部署到几千台计算机规模的集群，可拓展性强，而文件系统单点故障时，能够通过文件副本的形式快速恢复。这种分布式文件管理系统单点使用简单一致模型，系统复杂性更低，而并发吞吐量更大。分布式文件集群有多个数据节点和一个主控节点，其中主控制节点负责命名文件空间，处理文件访问请求，一个数据集群中一般只有一个主控节点，用于集群内多个节点的数据存储，将文件分割为多个块，存储在数据节点上，利用这种分布式文件管理系统，数据读写更加可靠，文件管理和访问性能更好。3.2并行计算并行计算中应用比较广泛的是Google提出的MapReduce软件架构与计算模型，能够进行超过1TB大规模数据集的并行计算，分布式计算平台充分学习了这种并行计算架构，利用MapReduce提供的简单软件架构，将计算任务分解分发到成千台计算机集群中，高容错并行处理大量数据，并行多任务处理，SQL和MapReduce之间的转换更加容易，复杂的SQL问题通过解析优化，分解为并行处理任务群，同时调度优化任务处理过程，不同业务数据不同任务并行处理，充分利用系统资源，加快运算效率。MapReduce能够完成大量计算机组成的大规模计算集群的并行任务运行和管理，单个Map任务、Reduce任务都同时在一个单独计算节点上完成运算，运算效率非常高，计算节点自身也是存储节点，数据的本地计算同样也减少了数据传输量，突破了网络带宽限制。3.3多维索引多维数据的查询要在建立大规模数据集多维索引基础上实现，查询多维数据有Filter和Refinement两个阶段，首先选择候选集，初过滤之后再详细查找生成最终结果集。多维数据索引充分利用了分布式平台的结构优势，能够同时进行多列索引，利用多种二维索引，利用服务器端计算技术，显著提高了复杂索引的运算效率。3.4分布式光纤电力电缆检测数据质量优化分布式光纤传感技术利用光在光纤中传输特性获取温度、振动等参数，在光缆线路检测、维护和施工中都有着广泛的应用，具有精确测量光纤温度、长度，故