数据治理数据资产中心.doc

数据治理|数据资产中心 作者介绍 @明明 美团资深产品，DataFun分享嘉宾，数据人联盟创作者； 先后主导过业务型、工具型、治理型数据产品工作，8次马拉松完赛经历，喜欢《三体》，偶像章北海，立志成为一名受人尊敬的产品经理。 “数据人创作者联盟”成员。 01 前言 这一期，我们来聊聊数据治理最最核心的部分——数据资产治理，本文主要阐述数据资产治理的策略和工具建设思路。 02 基本概念 广义的数据资产涵盖一切非结构化、半结构化和结构化数据，狭义的数据资产主要包括业务侧的业务日志、流数据的topic、批数据的数据表、生产调度任务/作业，模型层的指标、维度和数据集，应用层的报表、API、应用/服务等，本文主要面向狭义的数据资产，其中又以大家接触最多的数据表、数据指标、报表为主。 03 问题分析 1）用户A是数据开发工程师，对数据表结构和内容较为熟悉，日常工作内容主要是数据采集、数仓建模（ETL）和运维问题排查，主要需求查询数据表上下游生产链路及生产调度作业的执行情况，同时也会随机探查数据字段、枚举值和定义函数等内容来辅助进行数据开发。 2）用户B是业务侧数据分析师，具备基本的数据挖掘分析能力，日常工作主要是面向业务一线产出数据分析报告、配置业务指标和报表，需要根据业务需求查询的数据存储在哪张数据表，以及知悉数据表内各字段的定义、枚举值等，从而确定是否满足查询需求。 3）用户C是数据管理人员，对数仓建模规范和数据口径定义比较熟悉，日常工作主要是规范数据开发流程、降低数据资源存储和开发成本，同时保障业务报表产出及时性和质量，希望资产中心能提供统一的口径维护、资产监控评测等能力。 图表1：资产中心典型代表用户需求场景分析 04 治理目标 综上，数据资产中心的核心用户是各业务侧的数据分析师、产品经理、数据运营等用户，他们构成了数据资产中心的消费端，是数据资产得以流通并进而产生交换价值的关键，而资产中心供给端的用户群体主要是数据开发者和数据管理者。 因此，面向消费端，资产中心主要解决找人找数和有好数的痛点，核心治理目标为保障数据资产元信息的完整性、规范性和一致性，面向供给端，资产中心主要解决生产开发提效、资源成本管控的痛点，治理目标为降本增效。 05 行业调研 研究近年来主要数据论坛上各大厂数据资产中心的建设经验，特选取滴滴和腾讯作为调研目标，详情如下： 1. 滴滴数据梦工厂 1）场景分析：如图表2所示，滴滴主要数据资产分为人、路、车三类，主要呈现出数据量极大、结构化数据占比高、数据安全等级高等特点，主要需求为数据资产成本治理、数据安全治理和数据质量治理。 图表2：滴滴数据资产特点 2）解决思路： 如图表3所示，滴滴内部将数据服务化、指标管理平台和资产管理平台统一为数据内容建设领域，定位为向上服务各类数据应用平台，向下对接数据开发平台的中间公共数据层，以数据内容为抓手，资产管理平台统一作为数据资产元信息采集和管理的工具，通过指标管理平台规范资产口径和质量，再通过数据服务化将数据资产服务到业务团队。 图表3：滴滴数据平台业务架构 如图表4所示，滴滴将数据资产平台的使用对象设计为两类，一类是数据的加工者，一类是数据的管理者，数加工者承担各类资产的日常生产管控，数据管理者承担各类资产的资源成本和安全管控工作。 图表4：滴滴数据资管理平台使用对象设计 3）产品介绍：图表5为滴滴资产管理平台主要功能模块的分享样图 2. 腾讯游戏数据资产管理平台 1）场景分析：如图表6和图表7所示，腾讯游戏旗下包含上百款各类端游、页游和手游，数据量极大，存在数据多样缺乏统一标准、口径定义不一致、链路质量不高无法快速定位问题、数据价值和成本难以评估等痛点。 图表6：腾讯游戏大数据运营概况 图表7：腾讯游戏数据资产问题痛点 2）解决思路：腾讯游戏对资产治理主要构建了两大体系，分别是数据资产的元数据管理体系和数据资产价值的评估体系，其中元数据管理体系涉及元数据应用、元数据管理、元数据存储和元数据采集等范畴，数据资产价值评估体系则主要从热度、广度和收益度三个视角进行评估，详情如下： 图表8：腾讯游戏资产管理平台元数据管理体系架构设计 图表9：数据资产价值评估体系架构设计 图表10：数据资产热度“冰-冷-温-热”评估模型 图表11：数据资产广度“微-小-中-大”评估模型 图表12：数据资产收益度“差-中-良-优”评估模型 3）产品介绍： 图表13：腾讯游戏数据资产管理平台主要模块分享样图和功能描述 3. 调研总结 分析滴滴和腾讯的分享内容，发现两家头部公司对数据资产治理都有一个相同点，即将各类数据资产治理通过平台化的手段去落地实施，都关注到了资产的元数据规范性、安全性和成本，都提供了数据资产检索和血缘链路检索等服务。在侧重点上，滴滴的资产管理工具更加丰富和成熟，考虑到了数据