山西移动大数据运营管理平台实践经验分享.doc

山西移动大数据运营管理平台实践经验 分享 卢山 山西移动业务支撑部 山西移动大数据运营管理平台提供了一个开放、标准的运营管控中心，冇效满足 了运营商和合作伙伴对大数据平台上作业任务在运营、调度、管理等方而的支撑。 山西移动大数据平台通过“统一采集、统一存储、统一管理、统一运营、统一服 务”策略实施，建立幵放、统一的大数据平台架构体系，实现资源共享、数据共 享、按需服务，支持企业级业务应用百花齐放，支撑公司向移动互联网转型，探 索新技术，满足高效低成本要求。 随着山西移动大数据平台的建设，大数据平台架构搭建□臻完善，整体大数据 平台己经初具规模，形成了一系列的数据采集、数据处理、数据服务封装的能力。 伴随着业务不断发展，越来越多的开发商需要借助大数据平台，提供和应能力 以实现业务功能。然而，现阶段工作也面临众多亟待解决的问题： 大数据平台是多租户的模式，不是一个厂商或一个供应商在大数据平台上执 行开发任务，需要对各家应用提供标准化通用化的技术约束； 大数据〒台是多技术混搭的T?台，开发商需要Hadoop、MPP、Spark、Stream 等组件协同工作，进行数据及应用开发，需耍实现层次化的设计和开发环境支 撑，需要建立大数据开发规范和标准，实现从数据存储、计算、到数据开放的端 到端的管理能力； 大数据平台需要做到汇集公司所有数据源，需要多厂家的开发支撑，在众多 数据源和厂商参与的情况下，对数据质量、数据安全、程序调度等能力进一步规 范和制定标准，在大数据平台百花齐放的环境下实现管控。 如何实现上述对大数据平台的运营及管控需求，大数据平台需要建立一套完善 的运营管控体系和规范，规范和约束各厂家的开发、调度、运营，从而真正实现 大数据百花齐放的新环境。 平台定位 大数据运营管控平台是大数据平台在开放体系架构之下，通过制定一套规范各 厂家开发与运维的管理办法，从而规范大数据平台与公司各系统的关系、数据交 互的要求，提供开发者对于数据接入、数据整合开发及应用开发的规范标准，供 山西移动内部和厂商共同使用。 同吋，大数据运营管控平台的规范和标准适用于山西移动大数据平台开发者的 协同规划、协同建设，III西移动大数据平台开发者在开发建设过程屮须遵照执 行。 大数据运营管控平台从定位角度，属于大数据平台的一个核心控制系统，大数 据运营管控平台作为系统运行的裁判员和标准的制定者，负责系统运行任务的 编排、审核、发布和指令调度管控，以及多租户模式下各厂商共同参与的人数据 开发环境搭建及运维管理，为开发者和运维者提供各类服务能力，保障整个大 数据平台能够健康稳定运行。 图1总体架构图 下载原图 建设思路 山四移动大数据运营管控平台作为山四移动大数据平台能力的集成者、管控者、 运维者、服务者，为山西移动打造大数据的开放化体系和百花争鸣的应用环境。 主要通过以下4个方面进行建设。 大数据能力集成者:能力的集成者，集成大数据开发、管理等工具，为大数据 平台提供服务。 开发的管控者:管控大数据开发和服务，保障大数据平台在开放环境下的统一 开发和服务管理，从租户注册、资源/数据中请到产品开发、上线发布、运维的 全流程支撑。 数据的运维者:实现统一任务执行的监控、应用上下线、使用资源的及时监控 和预警、服务计量域收费全而的运维能力，保障大数据平台日常运行。 服务的提供者:大数据平台从统一接入到退出的服务能力，为各厂家提供统一 接入门户服务，提供便捷的接入能力，提供快速的开发及运营服务。 建设方案 一、总体建设方案及演进 山西移动大数据运营管控平台采用分阶段演进的策略，主要分为两个阶段建设 （如图1）。 第一阶段实现对大数据中心所有后台任务的控制和运行，实现统一权限认证和 控制，实现整个大数据中心运行统一管控。 第二阶段在多租户模式下，各厂商共同参与的大数据开发环境搭建及运维管理， 为开发者和运维者提供各类服务能力。 具体目标为实现以下6点： 为山西移动大数据平台提供一个开放、标准的运营管控中心，满足对大数据平 台作业任务的运营、调度、管理需求的支撑； 有效控制大数据平台上运行的后台任务的标准化和规范化，不满足任务运行 标准和管控要求的任务不会被平台执行，避免造成任务不可控对平台整体带来 的影响，例如不对外吐闩志，不支持数据质量实时监控的任务不允许执行； 实现集中化的日志存储管理，对应用程序任务日志输出给出明确的规范并集 中管理，做到管理信息的集中化、可视化，为后续的运维分析提供有力支撑； 基于开放化、标准化的Oozie相应技术实现数据处理流程编排，在人数据平台 不同组件上运行执行屮心，只接受运营管控屮心的执行指令，从而实现大数据 平台后台任务的管控，同时兼容未来开源产品的不断发展和完善； 对数据质量监控做到边处理边监控，提升大数据运营管控中心任务管控的及 时