JStorm-Storm性能调优.pptx

Jstorm/Storm 性能调优纪君祥;如何寻找瓶颈 从Jstorm、Storm角度进行调优 好的设计才是性能之王 ;性能优化是一个永无止境的追求， 没有最快， 只有更快 是机器资源和业务需求的一种平衡;做过4年阿里双11， 优化的topology超过100个;;找到每一个component的最大处理速度 从而可以找出整个topology的瓶颈;;;整个topology是一个流水线， 慢的component会拖慢整个topology;;;和rpc相关 storm.messaging.transport: ty.NettyContext“ ty.sync.mode: false ty.transfer.async.batch: true ty.async.block: true ty.transfer.batch.size: 262144 erval.ms: 10 ty.server_worker_threads:1 ty.client_worker_threads: 1;和内存相关 worker.memory.size: 2147483648 topology.buffer.size.limited: true topology.transfer.buffer.size: 1024 topology.executor.receive.buffer.size: 256 topology.executor.send.buffer.size: 256 worker.gc.childopts:;和CPU相关 worker.cpu.slot.num topology.max.spout.pending: null spout.single.thread: false topology.kryo.register spout.pending.full.sleep: true disruptor.use.sleep: true topology.performance.metrics: true topology.debug:、topology.debug.recv.tuple: ;以案例来分析;无Acker模式 Acker模式 Trident、事务模式;尽量让tuple走本地模式而非进程间通信 让多个task在一个worker内部，task和task直接走进程内通信 Example Trident TLog;降低topology层数 将多个模块合并到一个task内部，在这个task内部实现流水线 Example Trident TLog;在latency和吞吐量之间的取舍 Example EagleEye;Simpe Obj;常常出现在对数据库的访问中 尽量使用类似groupBy的操作，让相同Key的操作只在一个客户端发生 并且尽量做到均匀hash;想清楚 是否流控 是否自动ack Example /alibaba/jstorm/tree/master/jstorm-utility/jstorm-rocket-mq;Cpu Jstack/top –pH/vmstat Memory Top/jmap/jstat Network Sar/netstat/tcpdump/iperf;良好的设计 模块之间解耦，模块和模块之间层次清晰 高性能的设计 永远符合piple-line原理 无状态设计， 无锁的设计 永远避免热点 吞吐量和时延的平衡;谢谢 诚聘 对技术痴迷的工程师 联系 hustjackie@