数据资产管理在腾讯游戏的实践共37页文档.ppt

数据资产管理在腾讯游戏的实践

∧技术创新,变革未来

腾讯游戏大数据运菅概况

15W+表

离线计算:220+万/

端游100+款

4000亿乙+数据

100P+

流式计算量:2000+万秒

露,表

页游90+款

600亿+数据

多维分析

肉今w

象

秘翻婴

30W+表

TDW

手游300+款

13000亿乙+数据

每日传输量:17000亿条,约260TB,总存储量为100PB+,公司占比为20%

问题与痛点

在游戏大数据管控中,面临着众多问题与痛点

1.数据多样化,缺少統标准

2.计算逻辑理解一不致,导致统计结果有偏差

03数据全链路质≡问题,层次复杂、不能快速定位问题

04数据质量偏低给数据应用带来的各种挑战

游戏数据管控的问题与难点

数据标准缺乏结构化管理,集成困难

6.数据分散,没有形成完整的成本管理

7.数据价值的评估较为困难

8.数据安全与合规保障的问题

发展历程

勾建游戏大数据资产管理体系历经6年在各阶段解决的关键问题

数据集成

数据治理

数据孤岛形成

殳有统数据平台

资产运营

数据流转架构混乱

数据标准往缺失

数据传输时延高

质参差不齐

数据成本剧增

数据驱动

数据集成效率低

指标概念不一

平台组件不够稳定

数据合规存在风险

数据价值难评估

·数据获取效率低

数据生命周明不合理

区营效率有待提升

2019年

2019年

2018年

游戏大数据资产管理:通过组织、流程、制度、技术等组合手段,确保数据交付的

质量、效率、成本和安全,助力业务数据价值提升

能力模型

三好

用好”数据资产

管好”数据资产

“看好”数据资产

数据管理人员

平台指

「数群价值成本结算

致据谁」

知识图

线下培训

数紫应用[数据血缘

「血练跟踪「异分析

产品开发

数据映时

产品运维

数据理

理

密源度

「数据变更]「数据质量

「评估彩响「数据近量

权哦流程安全规落

「数拼检索数提接入

成本性理](元数把理

「安全策路制世世理

用楼块

体系架构

数据增值服务可视化胺表

效分析

月推送

渠遍管理

战绩直询

资产管理平台

资产总览

资产治理

产服务

产安全

数据理

资产运营

被据动

数据平

数抹花准

成本优化

敔据清洗

充程制度

生命期回理

热度分析

数据传辖

数据质量

安全管理

广分析

数据整台

影响评估

据存惴

数据血

DevElOps

数书开放

元数据皆理

「元

元数指标准

技术元数

务元数园

激数据存情

元数据开放

游戏大数据资产管理体系

元数据管理

元数据(Metadata)—描述数据的数据

按服务对象划分

业务元数据

技术元数据

时fot_noreItaMin+

元数据管理

元数据应用[元放据检索数据体化质监控」「资源管理其他应用

元据能力点|元数摇管理

新管理[版本管进

用户管理〖日志管理」『可视化

同步管理其他管埋

权限管理|[备份恢复〖接口管理

业务指标,开放共享

技术元数据

DataMoreiData[休化

口

自动构建血缘关系链

业务元款据//元数据存储

[磁

实时规则图灵更多

扩展能力,辅助运营

元数据采集转换层

模型桥接器

数据映射桥接器

异构数据源

元数据管理体系技术架构

数据资产目录某业务视图

≌262242口2

数据集成-数据采集架构

服务发现

Consul/L5

Web管理端

服务特性

KCP:9w:TCP:10w

游戏客户端

TGlog_SvT

单机吞吐量:180Mb

布式高可用,双方扩容互

PBTDR

SlogSvr

扃可用,高可靠:扩容

游戏服务端

TGlog_5

传输体系

失数据;WAL双备数据

RPC-Pralo

完整率:9999~99.9999%

·多协议支持;多数据格式

范结构

·专业数据管理、数据运维

周边系统完善支持

布道

元数据管理专业运维

m[在