中国移动企业级大数据中心建设指导意见V1.1(终版)解读.doc

中国移动企业级大数据中心建设指导意见 为进一步提高中国移动互联网战略的服务能力，对内驱动企业管理的精细化、智能化，对外提供信息服务型产品，实现大数据开放后的运营和服务提升，公司决定在全国范围内实施中国移动企业级大数据中心建设工作，通过整合全公司数据资源，盘活数据资产，助力公司第三条曲线的拓展，以服务“内增效、外增收”的整体企业战略，保证中国移动在激烈市场竞争中的可持续发展。 一、建设要求与重点 企业级大数据中心作为中国移动唯一、统一的数据采集、处理、服务和运营的平台，通过“统一采集、统一存储、统一管理、统一运营和统一服务”，形成集团及各省市公司“多节点”、 “网状网”形态的数据和服务共享能力；具备独立机构以承担平台建维、数据交换、资产管理、应用开发、数据服务和数据运营职责。为企业内、外部客户提供“按需”的服务能力，辅助企业决策，彰显数据价值。 企业级大数据中心的建设要求包括三方面： （一）建好组织：建立相对独立的、专业的企业级大数据中心管理机构，立足公司全局，全面负责企业级大数据平台的规划、建设、运维，以及数据资产管理、产品开发和数据运营等职能。 （二）搭好平台：企业级大数据中心满足中国移动全部数据“统一采集、统一存储、统一管理、统一运营、统一服务”的要求，实现逻辑集中；全部数据的采集、处理和存储分布于多个节点，进行物理分散，同时实现关键数据资产的异地容灾备份。 （三）做好服务：企业级大数据中心能为集团各部门、专业基地（位置等）、专业公司（咪咕、互联网、政企、在线服务、物联网等）、各省公司及外部行业提供灵活的“按需”服务。 二、建设重点 企业级大数据中心建设重点要求如下： （一）企业级大数据中心的能力要求 为了承接大数据中心的基础平台管理、数据交换、资产管理、应用开发、数据应用、数据运营六个职责，在大数据平台技术架构层面提供数据基础服务能力、系统平台管理能力、数据资产管理能力和应用共享开放能力四个部分： 数据基础服务能力：数据基础服务能力是大数据平台的基础，包含数据采集功能、数据存储运算功能、数据交互功能。数据采集需包括来自BSS、OSS、MSS的基础数据、来自于用户上网行为的DPI二次解析数据以及来自外部的第三方数据的数据采集。数据存储运算功能可根据数据类型及应用采用不同类型的数据库技术实现对不同价值、规模、时效性的数据差异化存储和运算。数据交互功能是实现不同形式的数据存储之间的数据交互。 系统平台管理能力：大数据平台需具备系统平台管理能力，提供对大数据平台的软件和硬件资源的管理，包括诸如资源管理、负载管理、配额管理以及计量管理等。通过系统平台管理能力大数据平台管理者可以根据租户提出的平台资源和能力的申请进行资源分配、监控、动态调整以及资源开销核算。 数据资产管理能力：数据资产管理能力包括数据质量管理、数据安全管理等。数据安全管理提供跨租户、跨时间、跨平台、跨任务的数据质量监控与管理。数据安全管理能力对大数据平台的使用者进行相关的账号、授权、鉴权等设置。 应用共享开放能力：为支持应用开发者高效、安全、规范的进行应用开发，大数据平台需要具有应用开放能力，应用开放能力包括开发者管理门户、统一调度平台等功能。通过开发者管理门户实现注册认证、资源申请、数据申请、开发上线功能的管理。统一调度平台需集成图形化的开发界面，通过统一封装的函数库提供类SQL的开发语言，以屏蔽底层差异性，降低业务人员的开发门槛，实现快速的业务开发。 （二）企业级大数据中心的技术架构 按照“逻辑统一，物理分离”的原则构建全国统一的多域融合企业级大数据中心。在云资源池基础上按照“1+31”方式在总部和省公司分别建设总部节点和省级节点。总部节点采集总部系统和专业公司系统以及全国性、总体性对外业务合作的外部数据；省级节点采集省内系统BSS、MSS、OSS三域及其它系统数据、省级对外业务合作的外部数据。总部节点和省级节点之间通过轻度汇总和高价值详单数据接口进行数据交互，逐步形成全国共享、按需服务、形成大数据的良性生态圈，对内对外提供数据、平台和应用服务。 图1 中国移动企业级大数据中心的体系架构 利用现有集中化经分系统，向企业级大数据中心演进，利用省公司现有经分系统能力，演进为省公司大数据中心，合理利用现有资源，实现大数据中心能力的快速搭建和提升，打造“DW+MPP+Hadoop”混搭技术架构。 Hadoop：承载大数据中心的ETL功能，实现三域数据定时、实时数据处理；承载清单、网络信令、非结构化数据等基础数据处理；建立企业级统一标准模型，并且对外提供明细查询服务。采用Hadoop技术和PC服务器架构解决数据量大、数据多样的问题； MPP：是使用SQL进行结构化大数据处理和分析最好的技术选择，具有高并发、支持多表联合复杂查询、高安全等优势。 DW：传统数据库