1、有赞-姜博-有赞数据中台降本治理.pdf

有赞数据中台成本治理 分享人 ：姜博 有赞数据中台负责人 姜博 ， 有赞数据中台负责人 2010年 哈工大毕业加入阿里巴巴，高级技术专家 ，先后在1688 ， 数据平台、集团全部 ，参与信用体系、海量数据存储平台、集团风 控架构建设 ，并于2016年 参与创立一家大数据安全子公司 2018年 加入有赞科技 ，先后担任安全负责人、数据中台负责人 ， 搭建有赞安全体系 ，主导有赞数据中台建设 ，探索数据驱动增长的 最佳实践 背景介绍 Ø 数据中台机器资源情况 PART 1 Ø 数据成本增速高于业务 Ø 问题剖析 数据中台机器资源情况 在线 opentsdb kylin druid hbase 数 服务 据 中 k8s 台 平台 研发平台 资产平台 增长平台 算法平台 … 集 应用 机 群 器 资 离线 实时 源 计算 hadoop presto 计算 kafka flink storm 100 1500 4w 15PB 应用 机器 core 数据成本增速超过业务 增速 有赞 数据中台 2019年 总收入 2019年H2 资源成本 增长100% 不可持续 增长100% 问题剖析 资源水位低 整体资源 ，平均cpu 使用率11% ，内存30% 离线计算浪费 业务和技术角度 ，有 很多计算资源优化的空 间 扩缩容成本高 短期大促扩容 ，付 出长期成本 ，高达数 十万 缺少成本意识