浅析基于云计算的智能计量平台研发.docVIP

浅析基于云计算的智能计量平台研发 　　1 系统需求 　　根据智能计量业务的需求，智能计量平台将基于云计算技术，使系统需要和营销管理系统、95598系统、生产管理系统、智能小区系统以及省网营销管理系统进行数据的交互，以实现计量业务与营销其他业务的双向互助支撑。此外，系统还需要整合现有的居民集抄系统、负荷控制系统及配电变压器监测系统，构建电力客户与电网管理部门的智能化和多样化互动服务平台。系统的物理架构。 　　可知，本系统的目的是将不同领域的单一监测系统(如厂站电能量遥测系统、大客户负荷管理系统、配电变压器监测计量系统、低压集中抄表系统和智能小区系统)进行整合，通过利用虚拟化平台对上述系统涉及到的服务器、存储设备以及网络设备的资源进行虚拟化，屏蔽了由于硬件资源的不同导致相互通信受阻问题，并以虚拟机为单位进行统一的资源管理，通过虚拟机将各类系统数据集中到主站或者通过统一的虚拟机将主站的指令发送到各监测终端，然后在主站端进行计量业务的综合应用分析和用电信息辅助决策。 　　2 核心技术介绍 　　Hadoop是分布式系统基础架构，是由开源组织Apache开发。基于Hadoop[9]的应用系统可以运行在廉价的硬件设施组成的集群上，通过Hadoop可以快速构建一个具有高可靠性和良好扩展性的分布式系统。系统主要由HDFS、MapReduce和HBase等组件组成，其中HDFS和MapReduce是Hadoop的两个核心组件，HDFS是Hadoop实现的一个高度容错的分布式文件系统，具有较强的可扩展性，同时HDFS也是Hadoop系统的基础层，负责数据的存储管理，并且能够提供高吞吐量的数据访问，适合处理大规模数据集的应用程序。而MapReduce[10]是一种并行计算模型，它能够有效合理地分割输入数据，进而并行处理，适合对海量数据的处理。Hadoop实现的MapReduce计算框架提供一种简单的编程模型，节省时间，可以快速实现分布式计算应用;HBase是一个分布式的、面向列的非关系型数据库，是云计算中的开源实现，支持高性能并发读写。 　　在本项目中， H a d o o p 集群局域网由1 台NameNode服务器、1台SecondaryNameNode服务器、1台JobTracker服务器和多台从服务器组成。NameNode服务器负责管理海量数据文件的分割、存储以及监控DataNode的运行情况。应用程序需要读取数据文件，首先访问NameNode服务器，获取数据文件在各DataNode上的分布，然后直接与DataNode通信。一旦发现某个DataNode宕机，NameNode将通知应用程序访问宕机节点各数据块的副本，并在其他DataNode上增加宕机节点各数据块的副本，以保证平台的可靠运行。SecondaryNameNode服务器用来监控HDFS状态，与NameNode进行通信，以便定期保存HDFS元数据的快照，若NameNode发生问题，其作为备用NameNode使用。JobTracker服务器负责管理计算任务的分解和汇总，负责监控各TaskTracker节点的运行情况，一旦某个任务失败，JobTracker自动重新启动这个任务。从服务器承担了DataNode和TaskTracker两种角色，分别负责数据块的存储和数据计算的map、reduce任务的运行。 　　3 平台框架结构 　　结合智能计量平台自身的特点， 智能计量云平台在设计上采用分布式、分层结构，可以划分为整个系统的实现由云设备、云平台、基础服务、高级应用及表现层五层构成，云设备层由主机设备、存储设备、网络设备及其他设备组成。在本系统软件设计中，采用VMware虚拟化平台管理技术，通过对上述设备进行操作系统虚拟化处理，实现了对硬件资源的虚拟化，并对上述虚拟化后的硬件采用虚拟机的管理方式，实现了资源抽象、资源监控、资源部署以及安全的管理。通过虚拟化技术的实施，不但保证了资源的利用效率，还使系统管理人员可以不受形式各异的硬件资源及操作系统的影响，而将工作重心全部投入到系统业务应用上。 　　云平台由数据存储、计算服务、负载管理、数据隔离和备份管理等服务组成。该平台以虚拟机为单位构建了数据库集群、应用集群、网关集群、采集集群、Web集群和接口服务器集群等基础平台运行环境，采用分布式文件系统、分布式数据库管理系统、数据管理和数据分析等先进的云计算技术，实现了海量数据的大规模存储，为后续的数据挖掘，高级数据应用提供了高性能的分布式计算环境。服务层由系统模型管理、数据中心管理、数据访问服务、消息服务、报表服务、通信管理、规约管理、系统维护及权限服务等组成，本层是业务系统的坚强基础，高级应用的每个模块都要求这些服务的支撑。该层采用MapReduce作为处理海量数据