饿了么大数据平台的工具链、技术选型及架构设计.pdf

饿了么大数据平台建设 主讲人：毕洪宇 时间：2017.06.11 About me 毕洪宇 eBay/PPTV Database Engineer VIPSHOP Staff Database/Big Data Engineer 饿了么 Big Data Platform Director Agenda 大数据平台现状 面临的挑战 技术选型 架构设计 稳定性 工具链 平台的一些想法 大数据平台现状 美好生活触手可得 2015年5月 团队成立 9年 2年 Make everything 30min 美好生活触手可得 • 离线计算 增量(不考虑副本) 100TB/day 集群规模 100-1000 nodes ，X10 expanding 表数据 90K表 400报表 调度任务 20K 任务数 80K mapreduce/spark 计算数据吞吐 3PB/day 美好生活触手可得 • 实时计算 集群规模 kafka 50+ Topology 10-100+ nodes 1M+records/s 8+ GB/s ，2M+ records/s 美好生活触手可得 • 逻 辑 架 构 与 数 据 流 向 面临的挑战 美好生活触手可得 人少活多 积累不足 内在质量差不多就行 应对套路 千人千面 Fire and Forget 美好生活触手可得 效率 质量 持续扩展 技术选型 美好生活触手可得 美好生活触手可得 团队 3T Trouble ：解决什么问题 Team Tech ：哪些合适的技术，生态和 社区的状态 技术 场景 Tech Trouble Team ：熟悉程度学习成本 使用 成本 运维成本 美好生活触手可得 • Presto VS Hive VS Spark SQL 场景 海量数据 Ad-hoc查询 团队 Presto略熟 技术 社区方面 Spark 稳定性 Presto 使用成本 Spark SQL 美好生活触手可得 • HB