【数据平台】集团联通大数据平台建设方案技术交流（88页 PPT）.pptx

某集团联通大数据平台建设方案技术交流;

1.本期建设目标

2.平台的建设规划

3.平台建设技术方案：建设背景、探索历程、平台实践、总结与展望;

1现状分析;

集团大数据平台建设现状

集团现状：目前接入全国的O域话单数据、B域用户数据、M域工参数据等基础数据，包括全量信令面、用户面2G/3G/4G/5G数据，数据量预估1.2P/天。平台现有规模700台+服务器，预计未来规模将达到数千台服务器。在数据层面，数据资产管理首先解决的是企业内系统间数据孤岛的问题，将不同系统中的数据进行全面汇集和管理，通过数据提炼分析、集中化管理，形成企业数据资产和洞察，服务于业务，解决了数据“汇管用”的问题。在业务层面，通过对各业务线的模块去重和沉淀，共享通用模块，让前台业务更加敏捷地面向市场，实现企业新业务的快速上线与迭代试错，服务更多场景，提升业务响应力。在技术层面，避免重复开发，技术迭代升级更高效，可按需扩展服务，让整个技术架构更开放。数字中台最终的应用价值是在充分市场竞争下，保持并提升企业的运营效率和创新能力。

痛点分析

1.数据割裂，跨区域，冒烟式建设，集群很难统一管理。

2.数据分散、共享困难，数据价值释放有限，无法变现。

3.数据冗余多、集群数据处理效率不高、占用物理资源高，重复建设，成本高。

4.数据质量有待提升、缺乏端到端的血缘管控，缺乏数据治理体系。

5.数据服务便捷性有待提升，缺一站式数据安全取数体系。

6.数据挖掘模型不够丰富，行业垂直数据建模能力相对较弱。;

建设背景：集团痛点

n全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。

n面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、促进数据价值变现的发展瓶颈。;

平台架构

1、需要建立跨区域、多集群数据管理

2、可视化管理、跨集群数据交换能力不足

3、统一运维、自动化运维能力不足

4、多租户，统一任务调度管理

5、建底层存储、计算集群搭建、容器化部署

数据汇聚

1、数据采集汇聚效率不足

2、数据采集范围尚未覆盖企业级整体数据

3、不同种类的数据存放仍需规范化

4、源系统接口不规范，数据采集不稳定

数据处理

1、实时、准实时数据处理支撑能力不足

2、数据处理的效率有待提升

数据治理

1、数据资产可视化程度偏低

2、缺少数据资产面向企业的服务能力

3、数据质量管理仍有很大的提升空间;

2规划思路;

1、建立集团数据中心：打通网络侧、终端侧、内外业务侧，建设跨区域、跨机房、集约化集群管控。

2、构建基础集群能力：数据治理、降本增效。贯通生态，强化网络能力输出。

3、提供数据变现能力：包括行业精准画像、应用产业影响和发展支撑。

4、打通行业垂直数据：以O域为主，融合B域以及全国平台侧数据、网络侧、终端侧、内外业

务侧，实现网络数据变现能力，包括行业精准画像、应用产业营销和发展支撑。;;

总体架构：技术特点-多集群和混合云;;

生产环境;

01.管理

●节点CPU卡识别

●容器内挂载CPU

02.分配

●大粒度：按租户

●小粒度：用户集群

●硬件型号

03.监控

●CPU状态监控

●CPU用量监控（使用率、显存、温度等）;

集群管理资产管理数说工厂运维中心;

?大数据的目标是充分挖掘海量数据中的信息，以发现数据中的价值

?云计算的目标是通过资源共享的方式更好地调用、扩展和管理计算和存储等方面的资源和能力，以提高资源利用率，降低企业的IT成本

?云计算可以为大数据平台的计算和存储提供资源层的灵活性

?大数据组件部署到云平台上，作为通用PaaS能力，为用户带来使用上的便利和高效;

Admin

SpecializationSimplicity;

建设背景：中国联通构建了业界领先的大数据平台

n中国联通拥有集中的，企业级全域数据的存储中心、计算中心、能力中心和孵化中心。;

应

用

数据服务能力封装/开放

数据能力AI能力

()

基于容器云的数据中心操作系统;

历程回顾：中国联通大数据平台建设

n2