数据中台建设方案.docx

第 PAGE 13页 共 NUMPAGES 44页 ××公司数据中台 建设方案 目 录 TOC \o 1-4 \h \z \u 1 项目概述 4 1.1 项目名称 4 1.2 项目背景 4 1.3 建设目标 4 1.4 项目规模 5 2 现状与需求分析 5 2.1 现状分析 5 2.2 数据中台价值 6 2.3 业务部门需求分析 7 2.4 数据需求分析 7 2.5 中台性能指标 13 3 总体框架设计 13 3.1 总体设计 13 3.2 数据中台功能设计 15 3.3 总体设计原则 17 3.4 核心模块设计 18 3.4.1 数据管理中心 18 3.4.2 任务编排调度中心 22 3.4.3 平台管理中心 23 3.4.4 数据采集交换中心 24 3.4.5 数据质量校验 25 3.4.6 计算引擎中间件 25 3.4.7 存储与计算中心 28 3.4.8 数据仓库 28 3.4.9 数据共享中心 30 3.4.10 平台监控中心 30 3.4.11 数据应用中心 31 4 平台设计安全性 32 4.1.1 安全性需求 32 4.1.2 身份鉴别 32 5 阶段建设规划 32 5.1 第一阶段建设目标 33 5.2 第二阶段建设目标 37 5.3 第三阶段建设目标 40 5.4 最终成果 41 6 硬件基础设施分析 41 6.1.1 数据存储需求分析 41 6.1.2 系统部署需求 42 6.1.3 硬件设施说明 43 7 项目成员配置 44 项目概述 项目名称 ××公司数据中台项目，以下简称数据中台。 项目背景 ××公司经过多年的信息化建设，信息化水平日益提升，已经积累了海量的生产和经营数据，这些数据分布在各种不同业务的系统和数据库中，包含了营运，人力，技术，安服，财务等，支撑着××公司业务的发展。 ××公司组建了数据平台开发小组，用传统的数据处理模式搭建了由数据大屏、动态监控系统、闭环监控管理系统、业务板块数据分析平台组成的数据仓库，促进公司数据管理与应用的规范化与制度化，为数据分析挖掘工作打下了一定的技术基础。 现有数据平台虽有完整的数据模型设计，但是偏重业务的设计和技术，在执行过程中，很难保证数据的全面，且数据应用不跨数据中心，这在数据平台建设初期发展快，效率高，能快速提现业务价值，但是随着数据仓库的建设，数据量急速叠加，整体成本居高不下，导致数据混乱、数据灾难风险高。 建设目标 通过数据技术，搭建××公司数据中台，将所有数据进行采集汇聚到数据中台，进行计算、存储、加工，同时统一标准和口径，形成标准数据，每个数据应用都以数据中台为唯一数据来源。 从××公司全局进行统一规划，统一建设，闭环涵盖数据应用开发全流程，满足从数据采集导入、交换处理、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据共享输出应用等全流程，强调数据的“全”，从设计、组织、建设、流程角度保障模式的落地，形成数据资产层，搭建数据应用“高速公路”，减低数据使用门槛，支持××公司机关、包括下属单位和控股单位等40多个单位数据共享和集中应用开发全流程场景需求。 项目规模 （一）用户规模 项目建成后用户覆盖××公司业务部门以及各下属单位，详细如下： 1、业务部门用户 ××公司机关各业务部门。 2、下属单位用户 ××公司各下级单位。 （二）项目覆盖范围 汇集××公司各级子公司现有信息化系统的结构化、半结构化以及无结构化的基础数据以及公司外部可获取的相关数据，以这些数据为基础，建立××公司数据中台。 现状与需求分析 现状分析 随着业务和数据规模持续增长，××公司现有数据平台架构的缺陷日益暴露： 1、数据仓库加工方面：维度、指标、分析场景的增加和复杂化。各业务系统间数据交叉混乱，难以统一整合，无法满足对内对外的各种数据需求。数据处理模式需要耗费大量的人力物力来支撑，已无法满足越来越庞大的数据体系，对于海量数据的处理与应用能力也非常的有限，导致数据开发成本越来越高，效率下降，很难从现有的数据模式中提取出有价值的信息，从而难以发现能够有效支持生产中需要决策的更深层次的规律； 2、交互式查询分析方面：目前存在较多种业务信息系统，当新需求开发过程中进行取数时，数据源之多使得取数程序如八爪鱼般从各个系统提取数据，并且经常采用外链方