ECUG2010分享：C1000K高性能服务器构架技术.ppt

Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 结论 Erlang运行期内部结构图 虚拟机的选择 SMP版本和Plain版本，由erlexec动态选择根据参数选择。 VM内部启用Hipe与否。 64位机器下halfword版本。 调度器机制 Running on full load or not! 进程和BIF按照时间片原则公平调度，抢占。 绑定调度器 spawn_opt 未公开参数 scheduler 用于绑定进程到指定调度器 Erlang 进程和Port 进程和现实世界1:1映射。 进程是根据时间片实现抢占式公平调度。 每个进程独立的堆和栈，独立的进行GC, 消息通过拷贝的方式传递。 Tcp?port也是和现实世界1：1映射。? Port通过Kernel Poll来实现事件监测?，IO调动独立于进程调度，也是公平调度。 每个tcp port内部都有发送队列（高低水位线），以及接收缓冲区。 port和进程的slot位都是预先分配好的。 ? ? Erlang内存分配池 Numa aware 何时支持？ R14B？ largepage 何时支持？ ? 内部有几百个分门别类的内存池。 ? mseg_alloc：?通过mmap来向系统申请内存，批发给其他内存分配池。 ? 每个调度器自己的内存池。 Erlang 进程单点/race问题 已知有单点的模块： ?disk_log模块 ?rpc ?... ? 已知有race的模块 ets mnesia erlang:register/unregister ????? 日志系统： 内置的太慢，推荐自己用linux shm来实现个ring buf。 ? ? ? ? ? Erlang NIF R14新添加的，丰富的接口，容易用C库扩展Erlang的功能。 NIF不像bif那样有trap机制，破坏Erlang调度器的抢占式调动。 NIF千万不要调用阻塞函数， 比如调用mysql库。 NIF有很大稳定性风险，错误会影响到整个VM。 ? EI (erlang C interface) 最近版本的EI修复了很多bug, 稳定了很多。 轻量，配合libev库做tcp链接接入服务器是非常好的选择。 丰富的RPC调用接口，直接访问后端Erlang服务器的模块。 支持多线程，多实例。 直接在shell下使用erl_call。 Mnesia OTP最核心的部件Mnesia，是做分布式系统最关键的一环！ 小结 并行化进程，按照1:1映射到现实世界。 Erlang的调度器绑定，提高cach的利用率。 halfword VM减少64位机器上的内存浪费。 开启Hipe Jit功能,? 同时用native方式编译库和应用。 尽量使用binary，最贴近机器内存模型，cache友好。 hipe?内置的未公开的bif 进程字典 留意你的进程的最大文件句柄数, 太大会浪费很多资源。 留意你的IO需要的异步线程, +A size参数。 ? Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 结论 Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 结论 推荐的性能调优工具 操作系统层面的： systemtap oprofile blktrace tsung gdb lmbench ? Erlang平台上的： lcnt dialyzer 内置的自省机制 cerl ? ? ? 了解IO系统 性能测试工具： ????Fio? 测试多种IO的效率 (sync, mmap, libaio, posixaio...) ????Sysbench? 简单易用的测试工具 ????Iozone? 侧重文件系统以及应用的数据访问模式 ? ?IO监视工具 ???Blktrace? ???btt? 可视化你的IO活动 ???seekwatcher 可视化你的磁头移动 ? 其他工具 slabtop???? ? ss用于统计大量socket占用的资源情况 netstat之类的工具对于大量的链接来讲实在太慢！了！ Systemtap帮助你了解你的程序/OS Agenda 硬件层面变化和思考 操作系统层面变化和思考 语言和库层面变化和思考 Erlang平台层面变化和思考 调优工具 结论 结论 C1000K离我们很近的，几年后技术就会普及。 C1000K是个渐近的过程，点滴成就高性能。 C1000K需要软硬件技术的高度配合，需要关心的层次很深, 是个系统工程。 C1000K随着应用和构造工具的不同，难度也变化的很大。 C1000K用Erlang平台构