技术文档-数据实例参考.ppt

* * * * * 本期修订主要体现在面向两级元数据互通和源系统协同管理，以及提升元数据模块的基础支撑能力 从模型、元数据获取能力、元数据存储内容 到 元数据应用均有所调整，同时提升了对外服务接口能力。 * * 本期是SQL解析二期建设，在第一期的基础上，重点实现：对SQL语句的结构化描述进行细化，提升SQL脚本的解析能力，包括SQL脚本描述、SQL语句片段描述、数据转换处理逻辑描述、关系代数操作描述等不同层次的描述内容。 此外，细化了对SQL脚本日志规范的要求、对SQL上下文关系处理要求和多路径问题和信息丢失问题的处理要求。 SQL解析能力的提升对于后续的元数据管理和SQL编写的规范化具有重要意义。 * * * * 元数据存储层：定义了经营分析系统核心元模型。 面向数据质量源系统协同，细化了对数据源接口元数据和维度数据的存储内容要求 面向为数据封装提供基础支撑，新增了数据封装元数据的存储要求。 * CWM模型在前期的经分系统建设和元数据建设中发挥了重要作用，但随着工程建设深入，CWM自身的局限性逐渐显现，例如：对于SQL脚本元数据的结构化描述能力有所欠缺，粒度不够细致。对于经分系统自身建设特点的支撑也有限。需要对CWM进行扩展和细化。 经营分析系统核心元模型的建立，重点是以CWM为基础，采用派生的方式对获取层-转换包的对象进行模型扩展； 对数据仓库、接口单元、维度等经营分析系统的关键数据对象的元模型进行了优化定义。 核心元模型的建立，从技术和管理角度优化了经营分析系统关键数据对象的元模型描述，为两级元数据互通奠定基础。 * 数据封装元数据主要包括四类对象：逻辑模型实体、逻辑模型字段、映射关系和映射关系组。 * 元数据功能层： 重点元数据服务接口的二期建设，新增对数据地图展现的要求 此外，对元数据变更管理功能有一定增强 * 现有的数据地图展现效果有一定欠缺。在核心元模型的建立和SQL解析能力提升的基础上，本期对数据地图展现要求进行细化，丰富展现层次，细化对图形元素的要求。 针对SQL解析结构化层级描述，形成数据地图的四层展现 * 上期建设基于数据封装技术建立了REST风格的元数据对外服务接口，本期中重点实现两类元数据封装接口的实际应用。面向经营分析系统的基础技术和应用提供元数据内容支持： 包括数据封装元数据的访问服务接口和数据地图访问服务接口。 * 元数据应用层面向本期工程重点提供支撑： 两级经分元数据互通，和面向数据质量源系统协同的接口和维表库管理。 对辅助安全管理应用进行增强 * 对两级元数据互通的元数据互通内容、接口形式和接口标准以及省公司需要实现的重点功能进行要求。后续会根据试点工作的成果对互通接口标准和技术实现方案进一步细化。 * 维表库管理重点对源系统维表、经分系统维表和一经维表及相互间的映射关系进行管理，提升对于不同系统的统计规则的理解，减少由于规则理解不一致产生的数据质量问题。 同时，此应用为源系统变更协同和维表稽核提供元数据内容支撑。 * 接口管理重点涵盖经分的数据源接口和一经接口，对接口表-接口单元-维度间的关系进行统一管理，为数据质量源系统协同管理和两级元数据互通提供元数据支撑。 * * * * * * * * 中国移动省级NG2-BASS3.0规范培训--元数据管理分册* 目 录 2 元数据管理体系架构 1 本期规范修订目的 3 本期规范新增与主要修订内容 4 附件说明 修订背景 实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟通平台，并防范部分省公司干扰指标真实性。 修订背景 经过NG1-BASS2.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，同时也发现了一些存在问题 一级经营分析系统数据质量依赖于省级经营分析系统上传的接口数据质量，需要加强两级经营分析系统的数据理解一致性和重点接口的数据处理过程规范性； 为提升经分系统数据质量，需要建立经分与数据源系统的协同管理机制； 经营分析系统的发展对提出元数据管理模块提出新的要求，需要增强元模型管理、元数据获取能力和对外服务能基础能力，以更好支持经分建设和应用。 修订目标和思路 修订目标 建立经营分析系统核心元模型，规范数据处理过程的结构化描述 实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化 为经营分析系统基础技术模块提供支撑，扩充元数据服务接口 服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑 修订思路 以CWM为基础面向经营分析系统建设和管理需要进行元模型细化和扩展，针对关键元数据对象建立核心元模型，实现两级元数据互通 增强SQL脚本解析，提升数据处理逻辑过程