- 1、本文档共29页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
云音乐数据治理探索与实践(29页 PPT)
|DataFunSummit
云音乐数据治理探索与实践;;;
整体情况
?APP:云音乐主站(音乐、视频、播客、社交)、直播、声波、唱聊、心遇
?Hive总表数:5w+
?总存储:PB级,TB级日志增量,TB级业务数据库单表
?调度任务数:1w+;;;;
高稳定
?主题域高度抽象,稳定不变
?子主题场景划分,相对稳定;
设计规范-数据域
?业务形态、实体关系表达
?核心:参与者(人)+服务及产品(坑位+资源);;
设计规范-平台管控;
?直接读写文件
?SQL+API、纯SQL
?多表多任务合并在一个workflow
?多workflow间数据检查依赖;
?模板规则
?表主键唯一?表行数
?字段空值检查
?字段枚举值检查?……
?自定义规则;;
质量低下
上线较为随意,多错漏难以检查
面向单次需求开发,新老埋点相互影响埋点问题造成的数据异常频出
看数困难
无法支持自动化取数看数
无法支持精细化指标产出
取数平台?流量罗盘?更新繁琐周期长;
?埋点生产标准化
?对象化(SPM+SCM)
?对象逻辑树
?归因能力(refer)
?埋点格式:扁平JSON-嵌套JSON
?全局公参
?事件参数
?对象标准参数
?对象业务参数;
?离线和实时统一数据源、模型
?离线和实时具备归因分析能力
?数据易用性:嵌套JSON-扁平化
?自动ETL,Ad-hoc查询和敏捷探索;;
埋点治理-流程管理;
埋点治理-埋点平台
?面向用户
?产品策划
?数据开发
?大前端开发?QA
?承载功能
?元数据管理
?需求工作流管理
?实时埋点测试?;;;
存储;;
资产治理-数据流治理
?分层模型数据流
?单任务内数据流-大任务拆解策略;;
生命周期治理-平台能力;;
|DataFunSummit
THANKS!
文档评论(0)