快手元数据平台化建设及应用场景-薛言.pdf

快⼿元数据平台化建设及应⽤场景 薛⾔-⼤数据平台架构师 行业与管理资源微信群 1. 进群即领福利 《报告与资源合编》，内有近百行业、上万份行研、管理及其他学 习资源免费下载； 2. 每日学习分享6+份精选行研资料； 3. 群友信息交流，群主免费解答并提供相关行业报告。 扫一扫二维码或添加客服微信（微信号：Teamkon4）免费报告等 你取。添加好友请备注：姓名+单位+行业或业务领域 微信扫码，海量资源到手 业务合作联系微信：Teamkon 知识星球 行业与管理资源社群 1. 无限制下载行业研究报告、咨询公司管理方案，企业运营制度、科技方案与大 咖报告等。 2. 每月同步更新3000+份必威体育精装版行业资源；涵盖科技、金融、教育、互联网、房地产、 生物制药、医疗健康等行研报告、科技动态、管理方案； ， 作 松 忧 微信扫码 工 轻 无 报告 整理于网络，只用于 ， 收集 群友学习 请勿他用 ⾃我介绍 薛 ⾔ ⼤数据平台架构师 加⼊快⼿3年，负责过数据同步、报表平台 ⽬前负责元数据系统建设及应⽤ ⽬录 01 背景介绍 02 建设过程及现状 03 应⽤场景 04 未来规划 01 背景介绍 什么是元数据 ⾯对的问题 02 建设过程及现状 03 应⽤场景 04 未来规划 背景介绍：什么是元数据 元数据 元数据是关于数据的组织、数据域及其关系的信息，简⾔之， 元数据就是关于数据的数据。 数据表 Hive表、Clickhouse表、Druid数据源、Kafka Topic ⽣产任务 离线调度任务、数据同步任务、实时计算任务 关联关系 Hive表与Hive库、指标维度与绑定数据表的关系 ⾎缘关系 数据与数据、任务与任务的上下游关系 背景介绍：⾯对的问题 怎样找到需要的数据 要计算的指标可以依赖哪些数据，某⼀个数据的⼝径是什么？ 如何梳理出上下游关系 准确⾼效的梳理出数据间或是任务间的上下游关系，并识别出关键⽣产链路？ 数据治理靠什么来驱动 资源治理、规范治理等靠什么来驱动？如何衡量治理的效果？