山西移动大数据运营管理平台实践经验分享 .pdfVIP

山西移动大数据运营管理平台实践经验分享

卢山

【期刊名称】《通信世界》

【年(卷),期】2017(000)027

【总页数】3页(P57-59)

【作者】卢山

【作者单位】山西移动业务支撑部

【正文语种】中文

山西移动大数据运营管理平台提供了一个开放、标准的运营管控中心，有效满足了

运营商和合作伙伴对大数据平台上作业任务在运营、调度、管理等方面的支撑。

山西移动大数据平台通过“统一采集、统一存储、统一管理、统一运营、统一服务”

策略实施，建立开放、统一的大数据平台架构体系，实现资源共享、数据共享、按

需服务，支持企业级业务应用百花齐放，支撑公司向移动互联网转型，探索新技术，

满足高效低成本要求。

随着山西移动大数据平台的建设，大数据平台架构搭建日臻完善，整体大数据平台

已经初具规模，形成了一系列的数据采集、数据处理、数据服务封装的能力。伴随

着业务不断发展，越来越多的开发商需要借助大数据平台,提供相应能力以实现业

务功能。然而,现阶段工作也面临众多亟待解决的问题：

1.大数据平台是多租户的模式，不是一个厂商或一个供应商在大数据平台上执行开

发任务，需要对各家应用提供标准化通用化的技术约束；

2.大数据平台是多技术混搭的平台，开发商需要Hadoop、MPP、Spark、

Stream等组件协同工作，进行数据及应用开发，需要实现层次化的设计和开发环

境支撑，需要建立大数据开发规范和标准，实现从数据存储、计算、到数据开放的

端到端的管理能力；

3.大数据平台需要做到汇集公司所有数据源，需要多厂家的开发支撑，在众多数据

源和厂商参与的情况下，对数据质量、数据安全、程序调度等能力进一步规范和制

定标准，在大数据平台百花齐放的环境下实现管控。

如何实现上述对大数据平台的运营及管控需求，大数据平台需要建立一套完善的运

营管控体系和规范，规范和约束各厂家的开发、调度、运营，从而真正实现大数据

百花齐放的新环境。

大数据运营管控平台是大数据平台在开放体系架构之下，通过制定一套规范各厂家

开发与运维的管理办法，从而规范大数据平台与公司各系统的关系、数据交互的要

求，提供开发者对于数据接入、数据整合开发及应用开发的规范标准，供山西移动

内部和厂商共同使用。

同时,大数据运营管控平台的规范和标准适用于山西移动大数据平台开发者的协同

规划、协同建设，山西移动大数据平台开发者在开发建设过程中须遵照执行。

大数据运营管控平台从定位角度,属于大数据平台的一个核心控制系统，大数据运

营管控平台作为系统运行的裁判员和标准的制定者,负责系统运行任务的编排、审

核、发布和指令调度管控，以及多租户模式下各厂商共同参与的大数据开发环境搭

建及运维管理，为开发者和运维者提供各类服务能力，保障整个大数据平台能够健

康稳定运行。

山西移动大数据运营管控平台作为山西移动大数据平台能力的集成者、管控者、运

维者、服务者，为山西移动打造大数据的开放化体系和百花争鸣的应用环境。主要

通过以下4个方面进行建设。

1.大数据能力集成者：能力的集成者，集成大数据开发、管理等工具，为大数据平

台提供服务。

2.开发的管控者：管控大数据开发和服务，保障大数据平台在开放环境下的统一开

发和服务管理，从租户注册、资源/数据申请到产品开发、上线发布、运维的全流

程支撑。

3.数据的运维者：实现统一任务执行的监控、应用上下线、使用资源的及时监控和

预警、服务计量域收费全面的运维能力，保障大数据平台日常运行。

4.服务的提供者：大数据平台从统一接入到退出的服务能力，为各厂家提供统一接

入门户服务，提供便捷的接入能力，提供快速的开发及运营服务。

山西移动大数据运营管控平台采用分阶段演进的策略，主要分为两个阶段建设(如

图1)。

第一阶段实现对大数据中心所有后台任务的控制和运行，实现统一权限认证和控制，

实现整个大数据中心运行统一管控。

第二阶段在多租户模式下,各厂商共同参与的大数据开发环境搭建及运维管理，为

开发者和运维者提供各类服务能力。

具体目标为实现以下6点：

1.为山西移动大数据平台提供一个开放、标准的运营管控中心，满足对大数据平台

作业任务的运营、调度、管理需求的支撑；

2.有效控制大数据平台上运行的后台任务的标准化和规范化，不满足任务运行标准

和管控要求的任务不会被平台执行，避免造成任务不可控对平台整体带来的影响,

例如不对外吐日志，不支持数据质量实时监控的任务不允许执行；

3.实现集中化的日志存储管理，对应用程序任务日志输出给出明确的规范并集中管

理，做到管理信息的集中化、可视化,为后续的运维分析