云音乐数据治理探索与实践(29页 PPT).pptxVIP

云音乐数据治理探索与实践(29页 PPT).pptx

  1. 1、本文档共29页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
云音乐数据治理探索与实践(29页 PPT)

|DataFunSummit

云音乐数据治理探索与实践;;;

整体情况

?APP:云音乐主站(音乐、视频、播客、社交)、直播、声波、唱聊、心遇

?Hive总表数:5w+

?总存储:PB级,TB级日志增量,TB级业务数据库单表

?调度任务数:1w+;;;;

高稳定

?主题域高度抽象,稳定不变

?子主题场景划分,相对稳定;

设计规范-数据域

?业务形态、实体关系表达

?核心:参与者(人)+服务及产品(坑位+资源);;

设计规范-平台管控;

?直接读写文件

?SQL+API、纯SQL

?多表多任务合并在一个workflow

?多workflow间数据检查依赖;

?模板规则

?表主键唯一?表行数

?字段空值检查

?字段枚举值检查?……

?自定义规则;;

质量低下

上线较为随意,多错漏难以检查

面向单次需求开发,新老埋点相互影响埋点问题造成的数据异常频出

看数困难

无法支持自动化取数看数

无法支持精细化指标产出

取数平台?流量罗盘?更新繁琐周期长;

?埋点生产标准化

?对象化(SPM+SCM)

?对象逻辑树

?归因能力(refer)

?埋点格式:扁平JSON-嵌套JSON

?全局公参

?事件参数

?对象标准参数

?对象业务参数;

?离线和实时统一数据源、模型

?离线和实时具备归因分析能力

?数据易用性:嵌套JSON-扁平化

?自动ETL,Ad-hoc查询和敏捷探索;;

埋点治理-流程管理;

埋点治理-埋点平台

?面向用户

?产品策划

?数据开发

?大前端开发?QA

?承载功能

?元数据管理

?需求工作流管理

?实时埋点测试?;;;

存储;;

资产治理-数据流治理

?分层模型数据流

?单任务内数据流-大任务拆解策略;;

生命周期治理-平台能力;;

|DataFunSummit

THANKS!

文档评论(0)

***** + 关注
实名认证
文档贡献者

信息系统项目管理师持证人

该用户很懒,什么也没介绍

领域认证该用户于2023年08月23日上传了信息系统项目管理师

1亿VIP精品文档

相关文档