基于大数据的电力企业运维技术应用.docx

??

?

??

基于大数据的电力企业运维技术应用

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要：在大数据时代，海量数据在处理、分析以及运用等几方面有着新的特点和要求，这使得基于大数据的电力企业运维管控技术应用设计有着特殊性。基于大数据的电力企业运维管理技术应用有着一般运维管理技术所没有的优势。对于大数据时代背景下的电力企业运维管控技术应用应当满足新时代的要求，运维管理、控制应用架构的设计也要符合现实状况。要将大数据运用到设计工作中，对电力企业运维管控技术应用设计进行创新。依据现实需求对电力企业运维管控技术应用进行设计和架构，使管理应用高效运转，发挥其安全保护作用。

关键词：大数据；电力工程；运维管控

1现状与存在的问题

随着大数据的不断发展和应用，各电力企业内的多种经营业务以及运营系统和平台不断增多，其规模也在不断壮大。电力企业正在逐步形成主要由服务器主机、数据库系统、互联网设备、安全设施以及应用软硬件系统等组成的数据信息运行系统，关系到企业内部各个重要业务系统。但是在数据信息管理系统以及运用安全保护方面，电力企业现阶段大多数运用的是分布式的多个点管理的方式，却少了对服务器主机、数据库系统、互联网设备等登入账号全面管控的系统。没有办法对登录账号建立、授予权力、权限更改以及登录账号注销或冻结的全过程进行追踪和管控；没有办法对长期使用的账户、密码强度较弱的账户、长时间没有修改密码的账户进行分析和处理，非常易使登录账户的密码遭到泄漏，进而可能对电力企业的内部系统的稳定、可持续运转产生非常大的威胁。因而，电力企业十分需要一个非常有效果的办法来对内部数据信息进行保护。

运营维修部门目前存在的主要问题有：（1）运行维修的工作人员数量十分有限，但是承担着企业内部许多服务器和数据库的安全保护责任，非常需要先进的手段措施来提高工作人员的效率。（2）每天对运行维护工作进行的安全管理一般是通过抽取审计工作簿来完成的，由于缺少目的性，因而难以发现其中存在的问题。（3）通常要对安全基线配置状况进行抽取检查和对比审核以及检验，耗费时间耗费精力而且效果不显著。（4）在运行维护安全管理控制这一板块中相对重要的登录账号管控部分，使用者只是用堡垒机对账户密码进行托管，并没有十分好的管控方法。

2系统架构设计

传统的ＫＮＮ算法的系统逻辑图如图１所示。

3系统模块

系统的模块组成如图２所示。

系统管理模块包括：数据采集模块、数据存储模块、批量分析计算模块、知识库模块、自助客服模块五部分。

3.1数据采集模块

主要在指定主机服务器目录下采集加工处理后的运维体系工单数据。该部分需要实现以下功能：（１）采集器对数据采集时间间隔的定义，本系统采集间隔时间定义为１ｈ；（２）采集的数据文件类型Ｓｏｕｒｃｅ，本系统采用ＴＸＴ文件；（３）对采集文件的编码定义，被采集文件为ＵＴＦ－８编码格式；对Ｈａｄｏｏｐ建立数据接口，在数据采集的同时存储于Ｈａｄｏｏｐ文件系统上。

3.2数据存储模块

利用Ｈａｄｏｏｐ分布式文件系统来实现文件存取功能。具体需要实现的功能如下：（１）分布式文件读取，根据分布式文件系统路径和文件名来读取到文件内容；（２）分布式文件写入，根据分布式文件系统路径和文件名写入文件；（３）目录规划，根据运维体系中“所属应用系统”划分分布式文件系统目录路径。具体划分依据为：ＥＲＰ人资与人资管控；ＥＲＰ物资与电子商务系统；ＥＲＰ设备；ＥＲＰ权限变更；门户目录；ＥＲＰ项目；基建管控；ＥＲＰ财务；生产管理；ＧＩＳ；经法ＯＡ系统办公等；帮助（意见与建议）；桌面运维；值班长（不接电话）；投诉受理。在数据库建立数据字典，创建字典ＩＤ，字典名称、字典描述、序号等信息，在分布式系统下创建／ｉｃｓ／字典名称／ｙｙｙｙｍｍｄｄ／字典名称＿ｙｙｙｙｍｍｄｄ．ｔｘｔ文件；（４）操作日志表ｓｅｌｆｓｅｒｖｉｃｅ＿ｌｄ＿ｆｉｌｅ，主要字段包括，数据日期（ｄａｔａｔｉｍｅｙｙｙｙｍｍｄｄ）、唯一编号、文件ＨＤＦＳ路径、文件大小、文件名、文件保存时间、ｓｐａｒｋ处理时间等字段，在文件进行写入到分布式文件系统时需要在该操作日志表添加一条相应的记录。

3.3批量分析计算模块

该模块是整个系统分析计算的核心，主要针对分类的工单运维体系进行分析，通过分析历史运维工单数据，得出数据之间的聚类关系与相似度关系。当用户需要检索时输入问题，在问题处理模块，首先分析用户问题所属分类，分析问题中语法、语义、词，结合一定数据算法，检索到与问题匹配精确度比较高的解决答案来。并且最终返回给用户的一个过程。短文本相似度计算，基于词义词典的方法，将短文本分解成一系列的词，然后基于语义词典计算词与词之间的语义相似度，最后将词与词的语义相似度综合起来得到文本与文本的语义相似度。其中，语义词典起到十分