C1000K高性能服务器构建技术.pdf

C1000K高性能服务器构建技术 余锋 mryufeng@ 2010/10/16 C1000K面对的挑战 C10K问题：/c10k.html 时间是2001年 现在是2010年，10年过去了，虽然软硬件技术也相应提高了， 挑战还在: 1M的tcp并发，即使每个链接按照16K内存算，需要至少24G内存。 1M的tcp链接中，有20%每秒活跃，那么200K每秒。 没有革命性的技术改进，算法和操作系统和库变化不大。 用户对服务响应时间和可靠性要求越来越高。 硬件约束：Dell R710， Intel E5520 *2, 24G 内存， 640G A 解决方案 TODO Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 Dell R710机器 过去 现在 北桥慢慢成为过去！ 硬件体系巨大变化 Cache在CP硬件上的版面， 也充分说明了cache的重 要性 内置四张网卡如何用？ IOPS高达200K，带宽800M Virident pci-e卡 小结 硬件变得和过去很不一样，性能越来越高。 硬件从CP，内存，网卡都在试图scale， 我们要配合硬件的 并行化趋势。 硬件在cache方面下了很多血本，提高数据的locality。 采用合适的硬件，比如说ssd盘代替sas盘。 Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 调查系统 Numa架构下的调度器，CPU亲缘性 google Tcmalloc numa aware 版本 Numa不同的节点间访问代价不同。 不适当的设置,会导致有的节点的内存空闲，有的需要swap。 libnuma改善内存分配的亲缘性, numactl 改变内存分配的策 略。 /proc/pid/numa_maps 了解你的进程内存在节点间的分布情况。 Numa matters Largepage TLB miss的代价 过去4K一页 现在通过HugeTLBfs实现 2M一页 大大减少LB miss oprofile可以告诉我们tlb的miss率 我们需要网卡的负载均衡模式（mode 0), 需要交换机的支持 网卡bonding 中断平衡 硬中断: irqbalance 智能的均衡硬件中断。 手动 [root@linux /]#echo ff /proc/irq/19/smp_affinity 软中断: RPS/RFS 解决softirq平衡 RPS is not automatically switched on, you have to configure it. echo ffff /sys/class/net/eth0/queues/rx-0/rps_cpus Same for RFS if you prefer to use RFS echo 16384 /sys/class/net/eth0/queues/rx-0/rps_flow_cn 显著提高软中断的均衡性，大大提高性能。