滴滴数据资产管理实践.pptx

滴滴数据资产管理实践

目录/Contents010302滴滴的数据资产概述平台建设之数据开发平台04平台建设之数据应用平台平台建设之资产管理平台2019中国数据智能管理峰会

滴滴的数据资产概述2019中国数据智能管理峰会

滴滴的数据资产5.5亿+1000+座全球城市700亿日ETA请求150亿日定位数据用户日新增106TB＋数据日均处理处理4875+TB数据人路车??司机乘客??静态信息：全球、全国、城市等各粒度动态信息：行程轨迹??静态信息：归属人/公司、车牌号、车型…动态信息：里程数、维保记录2019中国数据智能管理峰会

滴滴的数据特色030201地理位置、轨迹相关的数据占比高实时数据占比高结构化数据为主，价值密度高2019中国数据智能管理峰会

滴滴的数据平台业务架构?元数据打通，更准确识别公司核心数据资产，辅助资产信息的完善，从而沉淀数据资产业务应用/DS内部用户/DS大屏用户数据消费统一数据门户数据大屏PCAPP-H5数据应用产品平台BI自助分析工具决策分析…看板分析技术业务元数据打通数数据服务化据内容建设指标管理平台资产管理平台数据开发平台数据同步数据开监控告警数据质量项目管理权限管调度发理离线引擎实时引擎机器学习引擎数据接入2019中国数据智能管理峰会

平台建设之数据开发平台2019中国数据智能管理峰会

数据梦工场极致简单数据应用产品只要会SQL，人人都是数据玩家！数易BI实时监控监控大屏北极星把脉Omega标签系统智能地图……一站式智能数据开发、生产平台——数据中台(数据梦工场)完整闭环数据开发调度同步中心数据安全机器学习一站式数据开发生产平台底层封装、模块中心化、平台应用模块智能联动，提升开发效率??数据地图监控告警数据质量资产管理算法平台…安全保障?权限控制责任到人，权限到字段离线计算引擎Hive、流计算引擎Flink数据检索ES消息队列Kafka、DDMQHbasePhoenix机器学习TensorFlowSpark?开发生产数据隔离多种措施保障数据安全内置衍生规范产出语义明确的元数据更智能化的行业领先??基于开源引擎基线监控机制，标记最核心计算通路，确保核心数据及时产出平台服务高质量的元数据经验积累国内领先的大数据体系建设及数据治理经验2019中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理稳定高效异构数据源同步服务。1）集成实时、离线两种方式；2）快速扩展，插件式拓展多种同步类型；3）自主运维，同步相关指标清晰可见；4）为流计算提供实时数据源；2019中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理针对数据开发、临时查询场景，为用户提供更加规范、顺滑的数据开发体验：）智能编辑器，支持各种库表、函数、变量想输入、动态语法检查等）提供SQL格式化、错误提示，提供更顺滑SQL开发体验）支持各种SQL（Hive、Spark、Presto）、hell、PySpark等类型任务支持，）支持文件多版本、任务回滚；）直通调度，字段检测依赖，方便测试和上线任务。6）提供历史查询记录和大规模数据下载能力（经过安全审批）2019中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理支持百万级的离线例行任务调度，保障业务稳定运行。1）提供开发、生产两套环境，相互隔离2）支持MR/Hive/Spark/Shell等不太任务类型的任务调度3）支持小时、天、周、月多种调度周期配置4）数据回溯简单易用：支持重跑、支持多维度运维2019中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理智能监控任务运行情况，异常时发出告警。体系化解决“是否警”，杜绝无效报警；?表规则监控?数据量?流量数据接入资源告警?字段规则监控?存储告警?计算告警?异常数据?自定义监控?抽象“数据基线”保证重要数据的及时产出，并动态规划相关任务优先级。?结合算法，预测可能的数据延迟，提前预警，将影响面降到最低。?升级逻辑，避免漏处理。中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理和权限管理全链路的数据质量管控，实现数据质量校验、通知、管理能力1）完整配置VS快速配置2）强规则VS弱规则3）表规则VS字段规则4）预设规则VSSQL规则41%2019中国数据智能管理峰会

产品功能数据同步数据开发调度系统监控报警数据质量项目管理