202407月整理-行业大数据治理平台方案_2.pptx

资源模型1资源模型2资源模型3基本属性设计属性工艺属性生产属性财务属性 数据建模-实体建模▉建立政企单位主数据模型标准的制定。从PDM、ERP等多种业务系统中，进行数据模型的梳理汇编，并进行数据模型的标准化，解决一数多源，多种定义等问题。54数据资源集目录数据资源全集数据模型汇编数据模型去重数据模型编目数据模型归一化业务资料业务需求业务分析业务系统资源分类信息项名称资源分类信息项类型资源编码资源格式关联资源资源格式信息项名称信息项名称资源分类关联资源资源编码信息项类型关联资源资源格式资源编码信息项类型资源名称共享类型共享类型资源名称共享类型资源名称

▉通过提供可视化建模工具，进行主数据资源模型建立。并提供资源模型注册、审核、发布、盘点等管理功能55数据建模-实体建模主数据资源-关联元数据主数据资源-基本信息元数据字段信息元数据基本信息

数据建模-存储模型管理▉对物理存储模型进行管理。56数据库表管理存储模型管理

数据建模-数据字典管理▉提供可视化界面进行数据字典管理。57

数据整合-数据汇集合并▉提供数据采集与清洗能力，通过ETL、SQL、EXCEL等多种不同的工具，实现自动或手动或混合的数据采集与清洗能力。结合数据质量检核，为客户提供多重数据质量保证。数据的唯一性数据的权威性问题数据处理分布式ETL工具文件导入工具流处理工具 解决手动清洗混合清洗自动清洗手动采集自动采集数据源质量校核数据的一致性数据的完整性数据的合法性数据入库58

数据整合-数据汇集合并可视化的任务编排与管理。任务运行状态任务概览59▉

任务监控详情 数据整合-任务监控▉可视化的任务运行监控。60任务监控概览

61数据维护▉提供对主数据的新增、修改、删除、审核、发布等主数据生命周期过程行管理。

去重规则管理数据维护-数据去重▉提供对主数据的去重规则设置管理，对有多个来源的主数据进行去重。主数据去重62

63数据服务-服务发布▉针对注册的主数据可进行发布操作，通过主数据分类进行发布。发布参数修改主数据发布

数据服务-数据权限▉可针对发布的元数据进行数据权限管理，设定数据权限类型及具体属性权限信息。数据权限管理权限详情设定64

数据服务-查询服务▉可以对主数据信息进行查询，同时对查询到的主数据支持发起订阅审批流程65主数据查询发起订阅审批

数据服务-分发服务▉可通过推送任务定制的方式，实现主数据推送。任务详细设置推送任务定制66

一、建设背景二、行业大数据治理平台方案三、核心功能介绍1、数据共享交换平台2、主数据管理3、数据质量管理4、数据安全管控四、平台案例目录CONTENTS67

68影响数据质量的关键隐患问题总结▉信令大数据的规模占比超过95%，是性能管理现阶段数据质量主要矛盾。▉在日常运营过程中总结发现，影响信令数据质量的问题遍及数据源、数据平台、上层应用三层。?某些大网调整工作与DPI割接不同步，导致数据漏接：网元扩容、网元割接、地址变更?某些时刻业务量突增，DPI带宽/性能不足，导致数据溢出：黄金周、春节返乡、重大活动?某些原始XDR字段统计错误，导致KQI计算不准：错误码、呼叫类型?某些原始XDR关键信息回填失败，导致KQI计算不准：IMSI、MSIDN、IMEI、TAC、CELLID?DPI特征库更新不及时，导致业务识别异常：识别不出、识别错误?SDTP接口链路异常，导致数据丢失?平台持续高负荷，导致任务积压、数据缺失：集群规划不合理、参数设置异常、程序未调优?设备与网络故障，影响全量数据运算：数据库宕机、采集清洗机故障?指标算法统计错误，导致KQI计算不准：用户数、流量、成功率?某些基础数据异常，影响业务运算准确性：家客资源、小区资源、核心网资源?共享接口链路故障/接口文件延时，导致应用汇总异常?某些设备故障，影响全量数据运算：数据库宕机、采集清洗机故障数据源数据平台上层应用

69数据质量保障体系▉数据质量保障体系建设思路：建立标准+组织+工具+运维的综合保障体系2、组织与制度?构建多方专人的保障组：局方、数据源厂家、数据共享平台厂家、数据应用厂家?制定管控制度：质量例会4、质量核查工具?数据质量信息核查组件/探针?配置化数据质量核查功能?短信+告警结合的预警手段3、处理流程?明确数据处理问题闭环处理流程5、运维保障?定制日常质量巡检作业?定期开展运维分析报告1、标准规范?制定数据标