大数据时代的网络架构——杨志华：腾讯资深架构师.pdf

SACC2013 大数据时代的 网络架构 腾讯 杨志华 2013年8月 SACC2013 Agenda • Bigdata对网络的挑战 • TCP Incast应对 • 低成本无阻塞网络架构 • SDN思路集群部署优化 Three Things of Bigdata SACC2013 MapReduce Graphlab Deep Learning SACC2013 One Day of MapReduce 统计项 数据 集群规模 3000+ 每日运行的作业数 25000+ 每日运行的Worker数 150万+ 日处理数据量 1PB+ 日输出数据 200TB+ SACC2013 网络特点 • 离线计算 – 无最终用户实时访问 – 计算结果数据量大 • 高带宽集群通信 – 轻易打满千兆／万兆 – 集群规模几百、几千甚至更大 • 具备容错能力 – 任务可调度，对少量节点故障不敏感 – 数据冗余存储 SACC2013 网络挑战 • TCP Incast – 几十、几百、几千打一 – 传输性能优化 • 高带宽 – 典型的网络重载业务 – 持续大带宽通信 • 集群部署 – 降低成本 – 与其它业务混合部署 – 减少突发对其它业务影响 SACC2013 TCP Incast场景 • 产生原因 – 多打一的大量突发导致网络端口丢包 – 丢包导致TCP超时重传 TCP Incast TCP Incast SACC2013 交换机缓存：越大越好？ • 交换机缓存设计与加速比等各方面相关 • 合理的缓存可以减少丢包但对突发的应对有限 • 1G升级至10G可以更有效的应对突发 SACC2013 系统TCP调优 • 拥塞窗口值优化、Qick ACK 、SACK等 • 减小TCP RTOmin。参考资料：Safe and Effective Fine-grained TCP Retransmissions for Data-center Communication