大数据时代电信运营商IT架构的转型与演进方案探讨.docx

?

?

大数据时代电信运营商IT架构的转型与演进方案探讨

?

?

张晓航

【摘要】分析了某电信运营商的IT系统架构现状及其在大数据时代面临的挑战，简述了电信运营商IT架构转型的原则，详细阐述了基于云资源池、Hadoop云平台和分布式数据库这3类核心平台的IT架构整体规划方案，提出了IT架构演进的各阶段工作重点及预期目标。指出探索非IOE架构、选择外围场景进行云化、逐步实现核心系统数据及服务轻量化，将成为运营商在大数据时代提升自身竞争力的必由选择。

【关键词】大数据IT架构IOE云资源池云平台分布式数据库Hadoop

长期以来，电信运营商核心支撑系统的解决方案主要依赖于小型机、高端磁阵及大型商业数据库，系统横向扩容困难、资源综合利用效率低、维护成本居高不下等矛盾日益突出。随着大数据时代的来临，数据量爆发性增长、客户感知要求日趋严苛给电信运营商的IT支撑能力带来严峻考验，电信运营商IT架构亟需转型与演进。同时，随着X86服务器处理性能大幅提升，系统虚拟化技术及基于Hadoop等开源软件解决方案的日趋成熟，电信运营商IT架构的转型优化在技术上已经可行。本文将以某电信运营商的实践为典型案例，提出一种适应大数据时代的IT架构转型和演进方案。

1现状分析

由于历史建设原因，某电信运营商先前IT系统的建设多基于小型机、高端磁阵和商业数据库软件搭建，经过多年的不断建设，虽然目前已覆盖MSS、BSS、OSS、EDA和ITM域，并实现了省集中的IT架构，但目前IT系统主要是基于IOE（IBM、Oracle、EMC）设备的技术架构，存在以下问题：

（1）PC服务器整合度较低，大量服务器独立部署，云化程度较低，资源不能集约共享。

（2）传统IOE架构的新建扩容等周期长、硬件部署效率低、横向扩容困难。

（3）IOE设备和软件维保费用高。对IOE厂商依赖较高，维保价格居高不下，2013年IOE设备维保费过千万，占全部IT设备维护费用的50%之多。

（4）随着4G时代的开启以及当前数据包深度挖掘的需求，数据量爆炸性增长，每个月都有50T左右的增加，传统的计费系统以及数据仓储系统架构无法满足。

2IT架构转型原则

一个完整的IT系统按照系统架构可分为Web层、应用层和数据层这3个层次，按照业务类型可以分为联机分析类应用和联机事务类应用，结合云计算和分布式计算技术的特点，该电信运营商推进IT系统架构优化转型，须做好3类核心平台的综合规划，如图1所示，分别承载架构转型后的系统应用层、分析及查询应用、联机事务处理类应用，并由浅入深推进现有应用迁移。

一是云资源池，主要用于承载架构优化之后的应用服务器、Web服务器等；二是分布式数据库，主要是用于承载架构优化后的联机事务处理应用的数据存储；三是分布式基础平台，主要适用于联机分析查询处理应用的数据存储和计算。

根据当前技术的成熟度，建议非IOE架构的复杂计算处理不宜云化，核心数据库3—5年内延续小型机部署方案。整个IT系统数据库演进路径如图2所示：

其中，适合云化的应用包括：Web、应用服务器适合去IOE，采用云计算部署；请求处理型、重复性任务、海量数据统计/查询/分析适合分布式计算。这类数据处理符合分布式计算的特点，即重复计算、海量计算、实时性要求不高。

不适合云化的应用包括：核心系统数据库和复杂任务计算处理，这类数据处理由于实时性要求过高，不适合分布式计算，必须依赖Unix环境的商业应用，不适合迁移到X86架构上来。

3IT架构规划和演进

3.1IT架构整体规划

（1）云资源池

云资源池平台建设主要在现有云资源池上逐步进行扩展，以满足后续应用服务器的迁移改造。当前投资成本主要由VMware的license扩容以及刀片服务器扩容费用构成。云资源池平台系统架构如图3所示：

搭建云资源池所需软件如表1所示，建议云资源池在中远期试点并推广KVM、Xen等开源虚拟化软件，减少VMware等商业软件的使用，减少投资。

云资源池平台能够实现资源的集约管理、按需分配和动态调度，可以实现对每个虚拟机、物理机以及存储设备的监控和告警。

（2）Hadoop云平台

Hadoop是一个能够对大量数据进行分布式处理的软件框架，其充分利用集群的威力进行高速运算和存储，可以满足海量数据存储和大规模数据集（大于1TB）并行运算的需求。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop平台硬件集群多采用性价比较高的PCServer，通过高冗余度来保证系统的可靠性，具有高可靠性、高扩展性、高效性、高容错性、硬件扩容以及维护成本较低等优点。Hadoop架构下的分布式文件系统、离线/实时并行计算已达到可用阶段，但仍需完善，目前非常成熟的可直接运营的产品仍然较少，需要高素质的专业人才以及专业的技术运营