元数据管理与数据质量监控.ppt

日志中心 系统管理 工作区 版本控制 元数据有哪些信誉好的足球投注网站 分主题管理（公共文件夹） 个人文件夹 元数据导出 元数据批量导入 遵循CWM规范 发现元数据源发生变化及时告警 可以手工干预批量导入过程 其它功能 Beijing Stats Data Mining Co. Ltd. ■Beijing (8610 ■ Shanghai (8621 ■Guangzhou (8620元数据管理 数据质量监控 北京瑞斯泰得数据技术开发有限公司 项目背景 功能概览 五大类元数据 管理型 数据库 业务 操作型 VSS文档 Server Application ftp telnet …… 指标 维度 纬表 字典基本表 字典数据表 数据库 表 视图物化视图 存储过程 字段 …… ETL 报表 数据接口 接口文件 元数据的类型 元数据管理 元数据管理-数据库元数据 基本操作 增、删、改、查 加入到“个人文件夹” 加入到“公共文件夹” 表 存在性实时查询 字段备注查询 字段备注保存 表数据预览 影响分析 血统分析 元数据管理-管理型元数据 基本操作 编辑、删除 加入到“个人文件夹” 加入到“公共文件夹” 工作桌面支持 自动登录netterm 自动登录plsql 元数据管理-业务元数据 增加步骤 添加对象类别，例如：“统计周期” 添加对象属性类别，例如：“字符型” 添加对象属性，例如：“描述” 新增一个具体的元数据，例如：“月” 元数据管理-数据字典 基本操作 浏览 增加 编辑 删除 元数据管理-SQL脚本元数据 基本操作 编辑 删除 工作桌面支持 用UltraEdit 打开脚本文件和日志文件 血统分析 功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据的数据血统和加工过程。 作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来龙去脉。 影响分析 功能描述：通过分析元数据之间的关系，以图形方式直观展现指定实体对全局的影响，如某数据库表的变更将影响到哪些ETL、数据库表等。 作用：通过影响分析，技术人员可掌握各程序、数据之间的关系和相互影响，更好确定系统变更所涉及的范围，避免遗漏和误操作，从而降低维护人员的工作量和出错的机率。 数据质量六大评估标准 哪些数据是以非标准格式存储的？ 哪些数据值提供了冲突信息？ 哪些数据不能正确描述对象的属性或已经过期？ 那些数据根本就不存在？ 关键数据是否及时传送到目标应用？ 哪些数据记录时重复的记录？ 数据质量监控 数据质量监控-质量点监控 功能描述监控某个生产流程环节，查看该环节的质量指标是否符合要求。 作用保证数据在生产过程的某个生产环节的正确性和一致性。 规则维护 定义SQL 告警条件 任务调度 数据集维护 规则维护 标准探测 模式探测 分布探测 日期探测 任务调度 数据质量监控-数据剖析 探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据模式自动生成数据规则表达式，产生数据校验规则。 数据质量监控-数据指标 数据集维护 规则维护 统计周期 度量设定 告警条件 任务调度 数据质量监控-表空间监控 功能描述监控数据库表空间使用量是否超过指定的限额或百分比。 作用提前获得表空间不足的信息，以便及时处理，防止由于空间不足引起的异常发生。 告警条件 可用空间小于N兆 使用率超过M% 告警责任人 任务调度 表空间监控结果 数据质量监控-表监控 表选择 任务调度 数据质量监控-SQL脚本监控 告警条件错误关键字、过滤关键字 超时设置超时时长 任务调度 任务调度中心 任务中心 Beijing Stats Data Mining Co. Ltd. ■Beijing (8610 ■ Shanghai (8621 ■Guangzhou (8620