企业数据治理之数据质量治理方案.pptxVIP

企业数据治理之数据质量治理方案.pptx

  1. 1、本文档共8页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
企业数据治理之数据质量治理方案

企业数据治理之质量治理方案整理制作:郎丰利1519制作时间:2023年睿利而行整理制作:郎丰利1519制作时间:2023年睿利而行整理制作:郎丰利1519制作时间:2023年睿利而行

组织大数据委员会大数据平台产研 故障组数据治理组 业务方评估质量分模型 系统稳定 项目质量故障发生率 用户满意度质量治理全局效果检测质量治理-整体架构标准数据标准定义 数据标准落地系统稳定性标准 标准版本管理故障定级标准设定产品数据质量管理平台(DQMT)智能分析服务(IDAS)问题分析工具 数据小帮手流程系统/数仓 上线、迭代、测试SOP数据监控流程 质量值班流程数据/产品问题 反馈、收集、跟进运营故障定责机制 质量红黑榜质量产品触达用户 提高使用率提升数据质量意识

质量治理-质量管理平台数据质量管理平台(DQMT)事中监控事前排查事后分析问题跟进知识沉淀核心功能隐患排查 监控报警 质量分析实时易用智能质量透明度质量日报监控大盘功能触达异常定位质量感知问题下钻解决方案易用智能

质量治理-隐患排查全平台系统变更数仓类变更依赖变更/上下线重大变更流程/评审/通知系统稳定性指标监控隐患定位影响程度定时报警覆盖数据生产全场景隐患排查更实时架构类变更平台类变更

质量治理-监控报警基线开始时间智能基线算法基线结束时间基线运行耗时运行耗时异常已开始超基线未开始预估延迟时间未开始未完成任务状态报警信息+++监控系统监控系统监控系统异常及时暴露问题及时定位累计趋势跟踪多场景多频次小时级监控天级别监控阶段性趋势多种监控策略超失败次数监控超基线buffer监控运行时间异常监控

质量治理-质量分析模型合理性+历史运行状况诊断:模型跨层依赖链路长度过长上游单节点耗时过长链路空闲时间(时间触发/分发等待)整理制作郎丰利1519实际案例收集关键延迟链路,次要延迟链路各节点延迟贡献度各类原因造成延迟度新增较晚节点上游节点耗时异常/失败重试时间触发/等待时长项目数据质量报告产出时间延迟分析系统优化解决方案沉淀优化值班流程完善产品功能

早报:今日项目产出是否异常,异常点定位晚报:全链路修改是否对次日产出有影响项目质量问题统一定位汇总对于项目全链路修改,统一暴露次日问题隐患质量治理-质量透明度零散报警项目整体质量无感知质量日报监控大盘监控任务多报警洪流平台数据质量整体感知质量问题逐层下钻·定位跟踪项目延迟率项目延迟度异常波动率变更隐患率耗时异常率调度系统DP指标平台druidhadoopkylindatabus

谢谢聆听整理制作:郎丰利--1519整理制作:郎丰利1519制作时间:2023年睿利而行整理制作:郎丰利1519制作时间:2023年睿利而行整理制作:郎丰利1519制作时间:2023年睿利而行

文档评论(0)

***** + 关注
实名认证
文档贡献者

信息系统项目管理师持证人

该用户很懒,什么也没介绍

领域认证该用户于2023年08月23日上传了信息系统项目管理师

1亿VIP精品文档

相关文档