289、基于归档日志的数据同步服务平台研究与应用.doc

基于归档日志的数据同步服务平台研究与应用 李功新1 刘升1 刘金长2 杨成月2 张翔2 （1福建省电力有限公司，中国 福州 350003） （2厦门亿力吉奥信息科技有限公司，中国 厦门 361009） 摘要：福建电网构建数据服务平台的目标是通过对基层电网生产数据整合，来提供省公司一级对电网生产管理所需的数据源，构建稳定可靠的电力业务数据支撑平台。在整体架构设计上将其划分为三层，其中数据抽取层通过直接解析Oracle数据库归档日志，来高速有效的获取原始数据；数据转换层采用基于XML的数据抽取接口，来屏蔽各基层电网生产数据的差异性；数据集成层通过建立具有福建电网自身业务特色的数据集成模型，使数据既能保证现有业务需求又能满足后期业务扩展需要。该平台的设计方案和技术路线对于电力行业中相关数据同步系统的建设具有一定的参考意义。 关键词：数据同步；归档日志； GPMS；CIM模型 1概述 2007年，福建电力在全省各地市级电网部署、安装了电网生产管理系统基层版（Grid Production Management System，GPMS），使福建电力输变电生产管理的规范化、信息化水平上了一个新的台阶。GPMS系统基于GIS理论并结合电力生产业务加以实现，同时根据业务需求分别在各地市部署了基层版并在省公司部署了省公司版。省公司GPMS系统业务数据来源是各基层版的业务数据，同时根据业务需求作相应的转换、集成，主要具有如下三个方面的功能： 基层版与省公司版数据的同步 根据GPMS系统各版本面向的对象不同，省公司版需要抽取、同步、复制各基层GPMS系统的数据，来为省公司版系统的各项业务提供数据支持。因此，必须建立一套机制和体系，在确保数据库性能和安全的情况下，让基层公司业务数据库中的数据有选择性地在受控的情况下同步到省公司的数据库中。 业务与负载均衡 在数据同步过程中，需要确保在海量数据的抽取、同步及复制时，现有系统业务仍然可以顺利开展，不对现有的业务处理造成任何性能上的影响。 数据中心的建设 为在当今市场竞争中保持优势，越来越多的电网公司在建设数据中心系统，以便为公司的决策支持系统提供稳定、可靠的数据源。如何为数据中心提供完整的数据抽取、转换和装载的解决方案，一直是信息化建设面临的挑战，同时也是平台建设所需达到的目标。 2 平台分析 数据同步服务平台研发的关键在于： 与GPMS系统无缝集成 电力系统本身特点决定了为保证供电的可靠性，电力系统生产环境中所采用的软硬件系统必须能够保证7*24小时无间断稳定运行，这就要求在实现数据同步时所采用的技术实现方案，必须要能够同现有的GPMS系统实现无缝集成。即要求数据同步服务平台在部署时不会中断现有系统业务运行，因为即便是有计划的业务中断，也会对电力企业造成巨大的损失，大大降低服务质量和客户满意度。 据业界估计，80%的停机时间都源于计划的下线，其中包括软件系统部署、升级和硬件迁移等。因此尽量缩短软件系统部署过程所需要的时间是提高系统连续运行的关键，因此，如何保证数据同步服务平台同现有GPMS系统的无缝集成，并尽可能的缩短平台部署时可能造成的业务中断时间是本项目最关键的环节之一。 屏蔽数据差异性 GPMS基层版设计目标针对的是各个地方局的生产业务。由于地域性的差异，在描述相同业务上，也可能会存在数据格式、数据编码上的不一致，因此在数据同步过程中需要对数据差异性进行屏蔽，将其进行统一的转换，保证在省公司进行数据集成时具有统一的数据编码格式。 3）满足业务发展需求 省公司和基层局由于组织定位的不同，即使对于相同的业务，所要求的数据结构和编码也会不尽相同，因此在数据集成时，要根据相关需要建立起相应的数据集成模型，来描述相关业务，以便满足省公司层面对于业务数据的需求。同时，建立的业务模型还需要满足后期业务发展要求，并可方便灵活地进行修改和扩充。 基于以上三个关键出发点，在平台架构的设计上采用分层设计思想，将其划分为三层（图1）。其中，数据抽取层负责从基层版中获取基础数据；数据转换层负责屏蔽各基层版数据间的差异性；在数据集成层中增加省公司相关业务需求，并对各基层版数据进行集成转换以满足业务需求。 图1 系统层次结构 3 平台设计 3.1 数据抽取层 图2 数据抽取层工作逻辑 数据抽取层在业务数据获取上采用了Oracle数据库归档日志解析方式来获取基础数据，主要通过以下步骤实现数据同步（图2）： 数据收集 数据抽取时，通过源端进程结合数据抽取接口来收集数据，此进程的独特之处在于它几乎不对源端数据库产生任何开销，主要体现在以下几个方面： 源端进程从Oracle归档日志文件中读取信息，因此收集过程不会给生产数据库实例带来性能问题； 只