大数据平台建设方案技术交流.docx

中国智网创新中心

大数据平台建设方案技术交流

目录

01现状分析

01

现状分析

1.平台现状建设、问题总结分析、客户痛点分析

02规划思路

02

规划思路

1.本期建设目标

2.平台的建设规划

3.平台建设技术方案：建设背景、探索历程、平台实践、总结与展望

产品设计

产品设计

03

1.资产注册4.数据同步

2.建模分发5.统一调度

成功案例3.数说工厂

成功案例

04

1.某省超大规模集群建设项目

2.某省电信全域数据融合建设项目

05

干货附录

干货附录

1.某省电信数据湖实施案例

2.数据资产管理，数据资产运营

1现状分析

数据割裂、共享困难，数据价值释放有限。建设现状：

数据割裂、共享困难，数据价值释放有限。

集团大数据平台建设现状

多集群异厂家、异部门建设，跨区域管控困难。重复建设、重复投资、运维成本高。集团现状：目前接入全国的O域话单数据、B域用户数据、M域工参数据等基础数据，包括全量信令面、用户面2G/3G/4G/5G数据，数据量预估1.2P/天。平台现有规模700台+服务器，预计未来规模将达到数千台服务器。在数据层面，数据资产管理首先解决的是企业内系统间数据孤岛的问题，将不同系统中的数据进行全面汇集和管理，通过数据提炼分析、集中化管理，形成企业数据资产和洞察，服务于业务，解决了数据“汇管用”的问题。在业务层面，通过对各业务线的模块去重和沉淀，共享通用模块，让前台业务更加敏捷地面向市场，实现企业新业务的快速上线与迭代试错，服务更多场景，提升业务响应力。在技术层面，避免重复开发，技术迭代升级更高效，可按需扩展服务

多集群异厂家、异部门建设，跨区域管控困难。

重复建设、重复投资、运维成本高。

现状分析数据加工不透明

现状分析

数据加工不透明，相同指标加工口径不统一。

1.数据割裂，跨区域，冒烟式建设，集群很难统一管理。2.数据分散、共享困难，数据价值释放有限，无法变现。

缺少端到端的血缘数据质量工具。3.数据冗余多、集群数据处理效率不高、占用物理资源高，重复建设，成本高。4.数据质量有待提升、缺乏端到端的血缘管控

缺少端到端的血缘数据质量工具。

5.数据服务便捷性有待提升，缺一站式数据安全取数体系。

数据服务便捷性有待提升。理治无6.数据挖掘模型不够丰富

数据服务便捷性有待提升。

理

治

无

各省大数据平台廊坊大数据平台乱散分

各省大

数据平

台

廊坊大数据平台

乱

散

分

数据价值挖掘不到位，专题数据模型不够丰富。

内蒙、郑

州

大数据平

台

SaaSPaaS基础设施主机资源存储资源网络资源建设背景：集团痛点

SaaS

PaaS

基础设施

主机资源

存储资源

网络资源

l全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。

数据治理l面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、促进数据价值变现的发展瓶颈。

数据治理

应用

大数据对内应用

大数据对外应用

数据中台

数据服务能力封装/开放

数据能力

AI能力

空间数据能力

资源能力

基于容器云的数据中心操作系统

IaaS

IaaS

自身优化

计算/存储资源使用不均衡

资源弹性调度不足技术组件支撑不全手工运维效率低

创新驱动

1构建能力共享生态

2急需支持租户自助使用云化大数据相关资源，赋能创新

3保障数据安全开放

通过持续研究和探索

通过持续研究和探索，构建中国容器化大数据云平台，解决痛点问题

问题总结：集团平台待改进需求总结

平台架构

1、需要建立跨区域、多集群数据管理

2、可视化管理、跨集群数据交换能力不足

3、统一运维、自动化运维能力不足

4、多租户，统一任务调度管理

5、建底层存储、计算集群搭建、容器化部署

数据汇聚

1、数据采集汇聚效率不足

2、数据采集范围尚未覆盖企业级整体数据

3、不同种类的数据存放仍需规范化

4、源系统接口不规范，数据采集不稳定

数据处理

1、实时、准实时数据处理支撑能力不足

2、数据处理的效率有待提升

数据治理

1、数据资产可视化程度偏低

2、缺少数据资产面向企业的服务能力

3、数据质量管理仍有很大的提升空间

数据开发

1、开发流程管控能力有待提升

2、数据开发支撑工具还需补充

3、开发工具的易用性有待提高

数据应用

1、基于数据中心的前端应用缺乏深度

2、缺少数据驱动型产品的支撑

3、资产服务（血缘、运维等）很少引用到前端应用中

系统运维

1、系统运维智慧化程度不足

2、缺乏基础平台运维监控能力

数据安全

1、数据安全体系