中国联通：建设3G电子化销售系统的应急体系.docx

??

?

??

中国联通

建设3G电子化销售系统的应急体系

?

?

?

?

?

??

?

?

?

库伟／文

中国联通3G电子化销售服务管理系统是运用“一级架构”理念开发丽成的电信级电子商务平台，全新的运营模式从战略层面实现了资源、用户以及业务量的高度聚合。持续不问断的运行能力是确保“一级架构”平台面向全渠道、全业务和全国用户提供优质服务的关键所在。本文设计并实现了一套完整的本地应急管理体系(EFO)，使核心业务受理平台在突发全局性、大规模计划外运营中断事件之后，能够按需选择最有效的应急预案，以最快的速度、最小的损失将其恢复至正常状态。系统上线后的实测数据表明，RTO、RPO、NRO等应急体系相关的关键评价指标完全符合预期，具有较高的行业应[来自Www.L]用和推广价值。

应急体系的概念与特点分析

应急体系的主要设计思想是在靠近生产系统所在位置的另一区域（如数据中心的不同楼层之间），综合运用数据复制、联动变更、时间同步、站点选择等核心技术手段，重构一套与生产系统在物理环境上相对隔离、应用逻辑上完全对称的业务运行环境，作为生产系统在紧急情况下的备用系统。正常情况下，由生产系统对外提供业务服务，备用系统处于实时待命状态。当生产系统发生异常、全面停服之后，将立即启动应急预案执行，由备用系统迅速完成业务接管，继续对外提供服务。考虑到应急体系下备用系统业务处理能力的具体需求，主、备系统在计算、存储、网络、安全、接人带宽等资源方面的配置模式可以按照降级、同级或升级灵活设计。

首先，从EF0的设计理念可知，主、备系统在物理位詈卜彼此靠近，在正常情况下，可以由同一团队完成对两套系统的日常运维管理，紧急情况下，运维团队能够依据应急预案同时对主、备两套系统进行应急处置，并消除了团队内沟通的空间和距离障碍，更加有效地保证了关键业务在主、备系统之间的切换和回切速度，实现更为优异的RTO/NRO指标。

其次，除了无需组建独立的运维团队之外，与DR系统相比，应急体系下的主、备系统通常能够共用相同的数据中心基础设施、运维流程和数据中心广域网接入等，无需单独建设专用的异地容灾中心，也不必租用价格昂贵的数据中心间远程数据复制链路，从而节约了大量的运营和管理成本。

再次，由于EFO与生产系统采用了彼此隔离的主机、存储、安全防护、网络接入和应用部署，因此两者具有较高的物理隔离性，正是这种隔离性，使得生产系统的局部或者全局性技术类故障，并不会影响到EFO的正常工作，反之亦然。例如当生产系统发生网络接入、服务器、存储等硬件类故障，应用程序、中间件、数据库、操作系统等软件类故障，黑客攻击、病毒发作、误操作等人为故障，物理隔离的EFO仍然保留有独立对外提供业务服务的能力，因此，整个应急体系能够有效应对信息系统面临的绝大部分风险类型。

最后，在主、备中心之间部署合适的数据复制技术（如OracleGddengate中间件），还能够实现主、备系统的“准双活”模式，在这种模式下，应急系统的数据库和中间件和应用程序能够处于激活状态，备用系统除了具备紧急情况下业务接管能力之外，还能够实现关键业务系统的负载均衡，进—步提高备用系统的资源利用率和紧急情况下的业务切换速度。

应急体系总体架构组成

ESS应急体系是以业务连续运营为核心目标，由组织结构配备、核心技术实现和切换预案制订三大要素组成，三者缺一不可。

技术实现是应急体系的主要载体

从技术实现层面来看，应急体系的设计需要解决如下几个关键问题：

问题1：主、备系统之间数据复制

通过数据复制实现关键业务数据在主、备系统之间的同步，使应急系统实时获取业务数据的副本数据，支撑应急系统运行。数据复制通常有同步或异步两种复制模式，具体实现时，可以按需在主机层、SAN交换机层、存储层、数据库层和应用层等几种方式之间进行灵活选用。

问题2：主、备系统之间的时钟同步

应急体系是由主、备系统组成，必然会面临两系统间的时钟同步问题，如果主、备系统时钟不一致，将会导致关键业务切换之后，报表程序等对时间敏感的应用程序发生运行异常或者业务逻辑错误。为此，需引入时间同步功能模块来解决主、备中心的系统时间同步问题。

为此，可以在生产系统和应急系统内均部署有NTP时间同步服务器，这两台NTP服务器分别与GPS标准时钟源同步，主、备系统的所有相关IT设备，均分别指向各自所属的NTP服务器，达到全系统时钟同步的目的。

问题3：主、备系统之间的网络切换

应急体系下网络切换设计的要点在于业务服务从生产系统切换到应急系统之后，无需在客户端进行任何配置改变，前台客户端应用程序仍然能够快速地连接到应急系统（NRO分钟级），重新启动事物处理。主要有如下两类实现方式：

基于DNS域名系统的网络切换方式，主要适用于以域名方式对外提供服务的应用模式。其特点是生