技术文档-元数据实例参考.pptVIP

目录2元数据管理体系架构1本期规范修订目的3本期规范新增与主要修订内容4附件说明修订背景实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟通平台，并防范部分省公司干扰指标真实性。修订背景经过NG1-BASS2.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，同时也发现了一些存在问题一级经营分析系统数据质量依赖于省级经营分析系统上传的接口数据质量，需要加强两级经营分析系统的数据理解一致性和重点接口的数据处理过程规范性；为提升经分系统数据质量，需要建立经分与数据源系统的协同管理机制；经营分析系统的发展对提出元数据管理模块提出新的要求，需要增强元模型管理、元数据获取能力和对外服务能基础能力，以更好支持经分建设和应用。修订目标和思路修订目标建立经营分析系统核心元模型，规范数据处理过程的结构化描述实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化为经营分析系统基础技术模块提供支撑，扩充元数据服务接口服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑修订思路以CWM为基础面向经营分析系统建设和管理需要进行元模型细化和扩展，针对关键元数据对象建立核心元模型，实现两级元数据互通增强SQL脚本解析，提升数据处理逻辑过程的展现能力建立维表库管理、接口管理机制，支撑数据质量的源系统协同机制提供数据封装和数据地图访问服务接口，增强元数据对外服务能力目录3本期规范新增与主要修订内容4附件说明2元数据管理体系架构1本期规范修订目的元数据管理模块在经营分析系统中的定位本期修订内容”本期修改内容经营分析系统核心元模型两级经分元数据互通维表库管理接口管理数据地图展现数据封装元数据客户隐私信息元数据元数据服务接口（二期）SQL脚本自动解析（二期）本期新增内容元数据变更管理数据源接口元数据维度数据辅助安全管理二期建设内容123456目录3本期规范新增与主要修订内容4附件说明2元数据管理体系架构1本期规范修订目的3.1元数据获取层元数据获取新增SQL解析二期内容建设在原有SQL脚本自动解析一期建设基础上，规范数据处理元数据的结构化描述、细化描述粒度、丰富解析效果展现层次，对SQL解析中的关键问题提出处理方法要求：数据处理过程元数据的生成SQL脚本对象结构化描述以ClassifierMap对象描述SQL脚本的数据转换处理逻辑以RelationalOperator对象描述SELECT子句的关系代数操作以FeatureMap对象细化描述SQL脚本的关系操作数据处理过程日志规范要求SQL脚本的上下文关系处理要求多路径问题和信息丢失问题处理要求二期建设：SQL脚本解析日志规范要求细化运行日志的输出形式：日志文件日志表日志内容中要求包含：提交到数据库执行的SQL脚本创建数据库链接的相关参数文件导入导出操作不要求包含游标操作信息二期建设：SQL脚本解析SELECT/COMBINATION/INSERTALL/MERGE/RENAME投影操作/交并差操作/改名操作脚本程序描述和SQL片段描述关系代数操作及其明细的描述数据转换处理单元描述脚本程序：TransformationTaskSQL片段：TransformationMapCREATE_SELECT句型INSERT_SELECT句型INSERT_ALL句型UPDATE_SELECT句型MERGE句型RENAME句型简单Select子句复杂Select子句投影操作中嵌套SELECT子句FROM子句中嵌套SELECT子句交并差操作二期建设：SQL脚本解析SQL脚本上下文信息处理多路径和信息丢失问题处理要求能够处理如下上下文相关类型：改变数据库连接临时表的处理命名空间的处理SQL脚本循环执行问题自动处理能力：将脚本多次运行日志自动合并对导入导出命令自动解析export/import/unload/load辅助人工处理能力：游标处理，可提供告警功能手工补充相关的元数据。3.2元数据存储层01经营分析系统核心元模型数据封装元数据元数据存储新增内容包括：02维度元数据的存储：对维度元数据的属性要求进行细化，支撑维表库管理应用数据源接口元数据的存储：对接口元数据的属性要求进行细化，支撑接口管理应用增强内容包括：新增：经营分析系统核心元模型CWM作为数据仓库