企业元数据管理-元数据梳理方法与实践（50页 PPT）.pptxVIP

企业元数据管理

元数据梳理方法与实践

目录元数据的概念及作用应用元数据梳理方法应用元数据梳理实践

什么是元数据1：定义和描述其他数据的数据2：关于数据或数据元素(可能包括其数据描述)，以及关于数据拥有权、存取路径和数据易变性的数据

元数据的层次(MOF)M0M1M2M3元数据层次术语示例元元模型MOF模型：对象、属性、关系元模型/元元数据CWM元模型（库、表、字段、报表、ETL加工过程等）、CMM元模型…元数据/模型数据类元数据（数据库列表、字段列表等）、服务类元数据、UML模型…数据个人信息列表、法人信息列表…

元数据的主要来源业务系统外部文件ETL服务器EDW/ODS/数据集市系统运行结构技术数据结构业务数据结构ETL程序信息数据转换规则数据清洗规则数据处理过程物理模型数据结构数据字典及敏感级别程序库/数据库目录KPI关键业务指标数据分析模型数据库目录安全认证访问控制帮助文档结构OLAP服务器WEB服务器应用服务器门户服务器手工补录源数据层ETL过程层数据仓库层应用服务层门户层用户用户

元数据管理核心流程元数据采集模板映射系统管理员ETLETL过程DB直连方式批量导入API直连方式执行元数据采集数据源类型创建数据源配置采集任务立刻启动采集元数据应用影响分析数据分析员/开发人员/运维人员下游应用问题反馈上游模型变更预警辅助下游变更血统分析辅助问题定位元数据存储库

元数据的使用场景数据标准关联元数据与质量规则，依据数据标准检查数据质量性别代码(GB/T2261.1-2003)数据标准定义元数据数据质量规则物理模型①标准映射质量规则②标准映射关联质量规则③物理模型0未知的性别1男性2女性9未说明的性别字段表数据库性别BR基本信息表HIS库性别单据发票表HIS库性别BR档案表医生站库规则分类表非空值不能为空值域值范围为(0,1,2,9)……

传统元数据存储遵循OMG组织定义的CWM规范分析层资源层基础层数据存储 管理层TDDB2 对象模型层Oracle元数据存储元模型存储采集配置存储CWM规范仓库过程仓库操作转换OLAP分析数据挖掘信息可视化业务术语对象关系型资源记录型多维XML业务信息数据类型表达式键和索引类型映射软件部署对象模型（UML1.3）

目录元数据的概念及作用应用元数据梳理方法应用元数据梳理实践

为什么需要应用元数据？数据编目和提供数据的核心是先识别数据、找到数据领导这个数据我三年前提过需求，在XX流程中有，没有跟踪，不知道落到哪个IT系统中了业务这个数据在XX系统，XX菜单的查询界面中，不过开发商不在了，谁能取到？技术项目当时的设计和开发人员都离职了，好几年前的事情，数据比较难找，我再找一下DBA这里的表名和字段名都没有描述，还是拼音简写，没法理解，怎么找？

数据治理的真正落地需要梳理到字段级别

为什么需要应用元数据？152个应用17万张表300万个字段某企业IT建设现状数据含义不可知表名、字段名无描述、不规范，大量拼音简写，没人理解咨询成果难落地请咨询公司做过两轮咨询，出一堆文档，无法落地业务建设速度快梳理周期长，梳理完业务系统已完成新一轮迭代数据专家要求高十年以上工作经验领域业务积累深厚冰山之下统计学方式方法落后专家拍砖

需要以应用视角切入的数据梳理方法基于大数据的数据梳理方法降低对数据专家的经验依赖建立数据业务的全链路关联识别每一项业务数据的含义采集为主，统计为辅，基于所有的数据梳理数据自动建立关联，而不是靠专家猜测业务与技术的碰撞，从业务理解技术，从技术理解业务每张表、每个字段找到相关的关联业务信息

需要应用与数据的结合的数据关联方法能否通过需求、界面、事项、流程、菜单等业务人员能理解的数据找到相应数据？

能否建立不同视角下的基础概念及关联业务视角业务需求流程文档菜单功能界面表单事项技术视角数据模型开发配置部署架构技术需求设计构建介质仓库部署脚本测试逻辑代码请求SQL数据视角表字段视图存储过程数据指标数据加工数据标准数据分类数据目录元数据数据服务数据开放数据质量数据展现数据采集数据共享

元数据VS图数据库M3元元模型MOF模型：对象、属性、关系图数据库节点属性关系标签应用元数据采用图数据库+结构化数据库存储

如何建立业务、技术和数据的关联？DevOps应用元数据数据元数据(传统)

数据梳理应用元数据与数据元数据关联的梳理方法采集应用元数据采集数据元数据关联和补录分析和聚类数据标签数据主题数据链路数据目录数据标准数据有哪些信誉好的足球投注网站

采集数据元数据报表工具ETL工具大数据平台Hadoop/Spark元数据采集