【数据平台】集团联通大数据平台建设方案技术交流（88页 PPT）.pptx

某集团联通大数据平台建设方案技术交流原创作者：张珂1.本期建设目标2.平台的建设规划3.平台建设技术方案：建设背景、探索历程、平台实践、总结与展望规划思路现状分析成功案例干货附录产品设计1.资产注册4.数据同步1.某省超大规模集群建设项目2.某省电信全域数据融合建设项目1.某省电信数据湖实施案例2.数据资产管理，数据资产运营2.建模分发5.统一调度3.数说工厂1.平台现状建设、问题总结分析、客户痛点分析0203040501目录

1现状分析

集团大数据平台建设现状集团现状：目前接入全国的O域话单数据、B域用户数据、M域工参数据等基础数据，包括全量信令面、用户面2G/3G/4G/5G数据，数据量预估1.2P/天。平台现有规模700台+服务器，预计未来规模将达到数千台服务器。在数据层面，数据资产管理首先解决的是企业内系统间数据孤岛的问题，将不同系统中的数据进行全面汇集和管理，通过数据提炼分析、集中化管理，形成企业数据资产和洞察，服务于业务，解决了数据“汇管用”的问题。在业务层面，通过对各业务线的模块去重和沉淀，共享通用模块，让前台业务更加敏捷地面向市场，实现企业新业务的快速上线与迭代试错，服务更多场景，提升业务响应力。在技术层面，避免重复开发，技术迭代升级更高效，可按需扩展服务，让整个技术架构更开放。数字中台最终的应用价值是在充分市场竞争下，保持并提升企业的运营效率和创新能力。痛点分析1.数据割裂，跨区域，冒烟式建设，集群很难统一管理。2.数据分散、共享困难，数据价值释放有限，无法变现。3.数据冗余多、集群数据处理效率不高、占用物理资源高，重复建设，成本高。4.数据质量有待提升、缺乏端到端的血缘管控，缺乏数据治理体系。5.数据服务便捷性有待提升，缺一站式数据安全取数体系。6.数据挖掘模型不够丰富，行业垂直数据建模能力相对较弱。建设现状：集团大数据平台建设现状内蒙、郑州大数据平台廊坊大数据平台各省大数据平台现状分析数据价值挖掘不到位，专题数据模型不够丰富。多集群异厂家、异部门建设，跨区域管控困难。数据加工不透明，相同指标加工口径不统一。重复建设、重复投资、运维成本高。缺少端到端的血缘数据质量工具。数据服务便捷性有待提升。数据割裂、共享困难，数据价值释放有限。散分乱无理治

建设背景：集团痛点n全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。n面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、促进数据价值变现的发展瓶颈。应用大数据对内应用大数据对外应用数据中台数据服务能力封装/开放数据能力AI能力空间数据能力资源能力基于容器云的数据中心操作系统创新驱动1构建能力共享生态2急需支持租户自助使用云化大数据相关资源，赋能创新3保障数据安全开放自身优化计算/存储资源使用不均衡资源弹性调度不足技术组件支撑不全手工运维效率低通过持续研究和探索，构建中国容器化大数据云平台，解决痛点问题基础设施主机资源网络资源数据治理存储资源IaaSSaaSPaaS

平台架构1、需要建立跨区域、多集群数据管理2、可视化管理、跨集群数据交换能力不足3、统一运维、自动化运维能力不足4、多租户，统一任务调度管理5、建底层存储、计算集群搭建、容器化部署数据汇聚1、数据采集汇聚效率不足2、数据采集范围尚未覆盖企业级整体数据3、不同种类的数据存放仍需规范化4、源系统接口不规范，数据采集不稳定数据处理1、实时、准实时数据处理支撑能力不足2、数据处理的效率有待提升数据治理1、数据资产可视化程度偏低2、缺少数据资产面向企业的服务能力3、数据质量管理仍有很大的提升空间数据开发1、开发流程管控能力有待提升2、数据开发支撑工具还需补充3、开发工具的易用性有待提高数据应用1、基于数据中心的前端应用缺乏深度2、缺少数据驱动型产品的支撑3、资产服务（血缘、运维等）很少引用到前端应用中系统运维1、系统运维智慧化程度不足2、缺乏基础平台运维监控能力数据安全1、数据安全体系持续完善中问题总结：集团平台待改进需求总结

2规划思路

1、建立集团数据中心：打通网络侧、终端侧、内外业务侧，建设跨区域、跨机房、集约化集群管控。2、构建基础集群能力：数据治理、降本增效。贯通生态，强化网络能力输出。3、提供数据变现能力：包括行业精准画像、应用产业影响和发展支撑。4、打通行业垂直数据：以O域为主，融合B域以及全国平台侧数据、网络侧、终端侧、内外业